Estrutura de um projeto de pesquisa: importância, avaliação e o Lattes

Em post anterior aqui no blog escrevemos sobre as classificações e o registro de projetos nos currículos Lattes e sobre como esses dados curriculares são utilizados em outros sistemas de informação em CT&I do país.
Neste texto, voltamos ao tema de projetos, mas sob ótica um pouco mais abrangente. Afinal, o descritivo de projetos é certamente a informação mais abrangente. Envolve coletivos de pessoas, recursos financeiros, resultados tangíveis e intangíveis e, acima de tudo, uma ampla gama de classificações e inserções no sistema técnico-científico.
Mas, então, o que e como se deve colocar no conjunto de dados sobre projetos em um currículo? Os projetos individuais devem ser registrados? O que ocorre com o sistema de informações quando os registros dos projetos são distintos entre os mesmos participantes, cada um colocando o que lembra ou registrou em seu próprio currículo? Onde e quem utiliza essas informações?
Sem pretensão de exaurir essas questões, comentamos aqui alguns pontos que podem ajudar a decidir e, principalmente, detalhar as informações de projetos nos currículos.

O que é um projeto de pesquisa?

A palavra “projeto” é uma das expressões mais amplas em significado e abrangência nas atividades de indivíduos, coletivos e instituições de um sistema de CT&I. Ela é usada para tratar desde ações individuais, como “projeto de tese ou dissertação” até empreendimentos complexos multi-institucionais e multinacionais como o Plano Marshall de recuperação da Europa pós-guerra.
Isto ocorre porque, em todas essas situações, atende-se a seguinte definição geral de um projeto: projeto é um empreendimento de um indivíduo ou de um coletivo (equipe, organizações, países, regiões) com objetivos, métodos, recursos e tempo delimitados, que visam produzir resultados para um público-alvo beneficiário.
Em sistemas complexos como os sistemas educacional, técnico-científico e de inovação, projetos têm relevância estratégica. Eles mantém coletivos unidos em torno de objetivos específicos, com tempo e recursos delimitados, gerando resultados tanto na formação de estudantes como na produção de conhecimento e de tecnologia.

Quais são os tipos de projetos de CT&I?

A natureza dos projetos varia de acordo com os objetivos da organização contratante, do público-alvo ou dos tipos de recursos. O currículo Lattes prevê três tipos explícitos de projetos – Pesquisa, Desenvolvimento tecnológico ou Extensão – e uma categoria geral para os que não se enquadram nesses três tipos. O sistema de ajuda do currículo Lattes, no entanto, não define o que é cada um desses tipos. Para saber o que e como registrar, é bom ter em mente as seguintes definições:

• Projeto de Pesquisa é um empreendimento individual ou coletivo que visa a investigação técnico-científica para produção de conhecimento científico e tecnológico;
• Projeto de Desenvolvimento Tecnológico é um empreendimento individual ou coletivo que objetiva a produção de tecnologia (i.e., conhecimento científico aplicado) para inserção, difusão, transferência ou aplicação em organizações.
• Projeto de Extensão é um empreendimento individual ou coletivo que visa aplicar conhecimentos de natureza técnica, científica, acadêmica ou artístico-cultural na resolução de problemas, prestação de serviços técnicos, produção ou difusão de produto intelectual, evento ou obra artístico-cultural atendendo a demandas da sociedade.
• Outros tipos de projeto são projetos de capacitação, como programas educacionais, projetos de atividades-meio (ex. projetos de editoração, planejamento de cursos), projetos de formação (ex. projeto de tese) etc.

E os projetos de inovação?

Uma dúvida frequente em projetos refere-se aos chamados “projetos de inovação”. Dada a inexistência de uma definição de consenso para inovação e à sua característica de transversalidade à cadeia de valor existente entre o conhecimento científico e a tecnologia aplicada, a inovação pode estar em todos os tipos de projeto. Por esta razão que o usuário do currículo é convidado a registrar se há potencial inovador ou não no projeto.
Naturalmente, devido à definição de inovação (que pressupõe a inserção efetiva de novidade em processo, bem, serviço ou ambiente organizacional, adquirida por público-alvo de seus benefícios), há uma estreita relação entre inovação e projetos de pesquisa aplicada, desenvolvimento tecnológico e de extensão, quando esses projetos geram soluções acessadas por seu público-alvo.

Quando os projetos são avaliados?

Projetos podem ser o principal objeto de avaliação ou podem estar entre os critérios de avaliação de indivíduos ou coletivos.
Instituições de ensino e pesquisa, empresas e, principalmente, agências de fomento a CT&I investem significativa parte de seus recursos financeiros no financiamento a projetos (tanto individuais e coletivos). Para isso, utilizam-se de chamadas públicas por propostas de projetos individuais ou coletivos, submetendo-as à avaliação por comitês que recomendam aquelas que devem ser beneficiárias dos recursos financeiros ofertados. Normalmente, nessas situações, como o projeto ainda não foi realizado, não estará registrado nos currículos Lattes.
No segundo caso, estão as situações de avaliação em que se analisam os projetos já realizados. Elas ocorrem em ofertas de prêmios, na análise de currículos (ex. concursos de docentes, seleção de candidatos à pós-graduação) e na avaliação institucional (ex. avaliação da pós-graduação da CAPES). Nesses casos, os projetos fazem parte de um conjunto de outros critérios de avaliação e permitem ao avaliador analisar a experiência de trabalho em equipe, de captação de recursos e de aplicabilidade de pesquisas de seus protagonistas.

O que se avalia em projetos?

Um projeto pode ser avaliado quanto a riscos, eficácia, eficiência, efetividade ou impacto.
A análise de eficiência refere-se ao uso adequado dos recursos previstos no projeto. No Brasil, desde a atuação dos órgãos de controle no destino e uso de verbas públicas, há uma grande preocupação com a avaliação de eficiência. Coordenadores de projeto devem ter plena rastreabilidade de seus gastos, até mesmo com comprovações óbvias de gastos (ex. cópias de check in de passagem tanto da ida como da volta).
Já a eficácia de um projeto é medida pela análise de seus resultados, entendidos como os produtos diretos do trabalho desenvolvido no projeto, que demonstram o cumprimento de seus objetivos e podem ser avaliados por seu público-alvo.
A avaliação de efetividade combina as análises de eficiência e eficácia, dado que um projeto pode ter sido realizado de forma eficiente (i.e., fez uso correto dos recursos), mas ineficaz (i.e., teve resultados não tão bem avaliados quanto se pretendia) ou ter produzido bons resultados, mas com uso de recursos além do necessário.
Há ainda outros dois tipos de análise mais desafiadores para os gestores de projetos: a avaliação de riscos e, especialmente, a análise de impacto. No primeiro caso, busca-se elencar os fatores que podem afetar negativamente a efetividade de um projeto e as ações potenciais que evitam estes fatores. A análise de impacto, por sua vez, refere-se não somente aos resultados diretos, previstos nos objetivos do projeto, mas sim aos efeitos no médio e longo prazo que esses resultados causam aos beneficiários.
Em CT&I e na educação, é bastante comum que gestores públicos queiram saber quais foram os impactos dos projetos, porém, os dados disponíveis permitem apenas verificar eficácia, eficiência e efetividade dos investimentos. Por exemplo, não se pode esperar que o investimento em desenvolvimento tecnológico resulte, de forma direta, em empregabilidade, mas sim em melhoria de portfólio que pode, no médio e longo prazo, aumentar empregabilidade.

Como avaliar projetos?

Há uma ampla gama de métodos na avaliação de projetos, que variam segundo a abordagem (ex. qualitativa x quantitativa), propósito e critérios.
No caso de avaliação em CT&I, uma referência especialmente importante é o Modelo Lógico desenvolvido pela Fundação W.K. Kellogg. Este modelo estabelece uma relação entre os recursos (entradas) e as atividades planejadas do projeto e três níveis de produtos que ele deve gerar, denominados saídas, resultados, e impactos.

Como avaliar os diferentes tipos de resultados de projetos?

Um exemplo bem ilustrativo pode ser dado com o investimento em mestrado profissional. Uma das expectativas deste tipo de programa no Brasil foi a melhoria da competitividade pela inclusão de profissionais com mestrado stricto sensu no ambiente empresarial. Nesse sentido, pode-se perfeitamente diferenciar saída, resultado e impacto de uma bolsa de mestrado profissional.

Suponhamos que uma empresa tenha investido e pago, por meio de uma bolsa, um curso de mestrado de profissional para um de seus funcionários. Ao final de 24 meses, a “análise de saída” (output analysis) pode ser feita pela simples verificação do êxito da conclusão do curso. Se o bolsista recebeu o título de mestre profissional, o projeto de investimento teve saída exitosa. Porém, o resultado esperado refere-se à competitividade. Então, uma pergunta cabível é se o mestre permaneceu no ambiente empresarial. Se ele optou por dar aulas, a partir da experiência que teve no mestrado, é claro que o programa falhou nos resultados esperados (ainda que tenha tido êxito na saída do projeto).
No caso de ter obtido um resultado exitoso, lembremos que o que se queria com um mestre profissional era a melhoria da competitividade empresarial. Para analisar este impacto, além de ter concluído exitosamente o curso, ficado na empresa, esta terá que verificar melhorias decorrentes da atuação deste mestre, por conta do conhecimento que recebeu em seu mestrado. Somente neste caso se poderá dizer que o investimento no mestrado profissional teve o impacto desejado. Segundo o Modelo Kellogg, isto ocorre somente após um período mínimo de 7 anos.
O mesmo raciocínio pode ser feito para os diferentes tipos de projeto – pesquisa, desenvolvimento tecnológico, extensão. Para isso, é necessário diferenciar os produtos diretamente gerados da atividade do projeto (saídas), daqueles resultantes de mudanças comportamentais em médio (resultados) e longo (impactos) prazos.

Quais são os dados de projetos no currículo Lattes?

Detalhamos esse assunto em um tópico anterior do blog. Contudo, considerando os tipos de projetos e os métodos de avaliação, voltamos agora para tratar de como os dados que você registra em seu currículo podem ser utilizados na avaliação de dados sobre projetos.
A primeira decisão no registro de projetos é a tipificação do mesmo, se se trata de projeto de pesquisa, desenvolvimento tecnológico, extensão ou de outro tipo. Como dissemos anteriormente, esta categorização está ligada aos objetivos, expectativas do contratante/financiador e das atividades desenvolvidas no projeto.
O segundo ponto a considerar é a densidade das informações, ou seja, a proporção entre dados fornecidos e dados faltantes no conjunto de informações que registram projetos no currículo.
Independentemente do tipo, um projeto é detalhado no currículo Lattes por seus Dados Gerais, Equipe, Instituição de Financiamento, Produção C&T e Orientações resultantes. Quanto mais detalhes forem descritos, melhor a possibilidade de contextualização do projeto em termos de sua abrangência, multidisciplinaridade, encomenda e resultados gerados.
Os Dados Gerais permitem identificar, classificar, descrever e especificar o projeto quanto à sua denominação, descrição, situação, período, localização institucional, relações entre universidade e empresas, potencial de inovação e equipe (relação de integrantes e de quantidades de alunos por nível de curso).
A Instituição de Financiamento permite identificar a organização que financia o projeto, bem como o código do projeto valor e natureza do financiamento recebido.
Já os módulos de Produção C&T e Orientações registram os resultados do projeto em termos de itens de produção intelectual e de orientações de trabalhos de conclusão de curso de graduação, mestrado ou doutorado que tenham afinidade ao tema do projeto.
Neste módulo é importante o usuário estar atento para à variada taxonomia de tipos de produção intelectual do Lattes, que permite associar aos projetos não somente produtos diretos, mas também atividades técnicas e tecnológicas, incluindo a difusão de CT&I. Registrar, por exemplo, que determinada entrevista foi sobre um certo projeto pode ajudar na avaliação futura de impacto daquele projeto.
O módulo de traduções prevê nome e descrição do projeto em outro idioma, para efeitos de divulgação fora do País.

Como os dados do Lattes podem ser utilizados?

Soluções como a Plataforma Lattes permitem combinar a exploração de dados estruturados com textuais. Isso é particularmente para tomadores de decisão interessados em ter visões gerais sobre o que ocorre com projetos em desenvolvimento, concluídos, financiados ou não.
Entre os instrumentos mais utilizados está a nuvem de termos (ou mapa de tópicos), que permite, por exemplo, obter visões gerais sobre os conteúdos gerados por diferentes conjuntos de projetos.
A combinação de campos estruturados (ex. situação do projeto, agente financiador) com textuais (ex. título ou descrição) permite a construção automática de mapas de tópicos que ajudam o tomador de decisão a categorizar os projetos em desenvolvimento (ou financiados) em sua organização.
Na figura ao lado há um exemplo de análise de projetos de um programa de pós-graduação produzido pela Plataforma Stela Experta©.
Este tipo de avaliação pode ser combinado com métodos quantitativos e de comparação entre projetos, permitindo aos tomador de decisão visões mais abrangentes sobre saídas, resultados e, dependendo das bases que consultam, impactos de projetos ao longo do tempo.
Há uma ampla gama de métodos de avaliação disponível. Contudo, independentemente do método de avaliação, o principal insumo será o conjunto de dados que descrevem objetiva e subjetivamente os projetos e/ou as propostas de projetos a avaliar.
 
Esses dados vêm ou dos sistemas que gerenciam chamadas e propostas (ex. Plataforma Carlos Chagas, do CNPq) ou de plataformas coletoras de dados nos contextos institucionais dos projetos (ex. Plataforma Sucupira, da CAPES) ou da produção intelectual gerada pelos projetos (ex. Currículo Lattes, do CNPq). Por esta razão, pesquisadores e mesmo estudantes devem estar atentos para como registrar os projetos, particularmente no currículo Lattes (dado que ele é gênese para importação de dados para a maior parte dos demais sistemas).

Quem está interessado nos dados de projetos do Lattes?

Ao nos mencionarmos a tomadores de decisão interessados em projetos, estávamos nos referindo a integrantes de equipes de projeto, a gestores e a avaliadores em um sistema de CT&I.
No Brasil, além das próprias IES que abrigam pesquisadores, estudantes e grupos de pesquisa, esses decisores estão em organizações como as Fundações Estaduais de Amparo à Pesquisa (FAPs), CNPq¸ FINEP, CAPES, SESu e INEP, todos interessados no mapeamento e no acompanhamento dos projetos, segundo missão e critérios dos subsistemas que coordenam.
Para o sistema de pós-graduação do País, por exemplo, os critérios são definidos pela CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior). De modo geral, são valorizados os projetos financiados que têm a participação tanto de professores como de alunos e que tenham gerado produção intelectual tanto bibliográfica (ex. artigos, capítulos, livros publicados) como tecnológica (patentes, registros, produtos, processos, tecnologia). Também são valorizados os projetos que envolvam organizações públicas e privadas e que não tenham apenas a IES como financiadora e que foram desenvolvidos em rede com outros grupos de pesquisa.
Quando há resultados na forma de produção tecnológica, os projetos combinam pesquisa e desenvolvimento e geram conhecimento embarcado em uma solução. Isso é particularmente importante no caso FINEP, cuja missão é o investimento em inovação, de impacto potencial na produtividade empresarial e, no longo prazo, na balança comercial do País.
No caso dos projetos de extensão, há uma gama ainda maior de possibilidades de estruturação e de avaliação de cada projeto, dada a variabilidade do que se considera uma extensão e de seus diversos propósitos. No Brasil, essa variedade tem sido uma preocupação do Fórum de Pró-Reitores de Extensão das Instituições de Educação Superior Brasileiras (Forproex). Cadastrar projetos de extensão no Lattes também é importante para a IES avaliar o que ela está levando de conhecimento e de serviços para a sociedade onde ela está inserida.

Quais são as principais tendências e desafios em projetos?

A abrangência de propósitos, variedade de tipos e de origens de viabilização fazem com que a entidade projetos seja um desafio constante tanto para gestores de CT&I como para especialistas em sistemas de informação.
Para os responsáveis por plataformas de informação os desafios são a padronização da estrutura de dados, a auto-população de dados (i.e., preenchimentos automáticos de campos por meio de consultas a diversas fontes e confirmação do usuário final), a interoperabilidade e integração entre plataformas e a correta combinação entre segurança e acesso à informação. Também é um desafio a incorporação constante de avanços das áreas de sistemas de conhecimento e tratamento de dados nos sistemas de apoio à decisão.
Para a avaliação de projetos, além de se beneficiar das inovações da tecnologia da informação e comunicação, há o desafio de se buscar métodos que combinem avaliação de anterioridade, potencial, riscos, performance, resultados e impacto para projetos, de forma configurável a cada necessidade de avaliação.
Já os tomadores de decisão institucionais, nas diferentes hélices do sistema de inovação – governo, empresa, academia – devem manter empenho na definição de significado e estrutura do que venha a ser um projeto, bem como reconhecer sua variabilidade e abrangência de propósitos, preferencialmente de forma coletiva com os demais atores de seu sistema técnico-científico.
Um exemplo de tendências nesta direção tem sido o movimento de modificação da chamada “avaliação por pares” (que prevê a participação exclusiva de avaliadores científicos) para comitês multi-institucionais (com a presença de representantes das demais hélices do sistema de inovação). O conceito de Transdisciplinaridade por coprodução – que prevê a participação de atores acadêmicos e não acadêmicos em projetos de CT&I – também é disruptivo como tendência ao que hoje se define, registra e avalia para projetos.