Diferentes indicadores qualitativos para avaliar a produção de artigos científicos
A produção científica é avaliada em qualquer parte do mundo. O uso de métricas quantitativas é bastante frequente, mas cada vez mais as métricas qualitativas, que avaliam a qualidade do que é produzido, são utilizadas pelas instituições para avaliar a performance em pesquisa de indivíduos e de grupos de pesquisadores. Mas você sabe quais são os indicadores qualitativos mais utilizados para medir o impacto dos periódicos nos quais os artigos são publicados e o que exatamente eles medem?
É sobre isso que vamos falar neste texto. Mas, antes, vale citar alguns autores que defendem a avaliação da produção de CT&I. O doutor em Química Fernando Galembeck, por exemplo, em um artigo na revista Ciência e Cultura nº 42, de 1990, já defendia que era impossível pensar no progresso sem a ocorrência de avaliações sistemáticas do ensino e da produção científica.
Em um artigo publicado na Psicologia Escolar Educacional, em 1998, a mestre em Ciência da Informação e em História da Ciência Maria Helena de Almeida Freitas afirmava que “a necessidade de avaliação da atividade científica é também motivada pelo número crescente de publicações que estão sendo produzidas”. Em 1996, a estimativa é que estavam sendo produzidos 5 mil novos artigos por dia no mundo – número que cresceu desde então.
Um exemplo disso é o volume de artigos produzidos no Brasil e listados no ranking do SJR nesse período. Em 1996, o Brasil figurava na 21ª posição do ranking, com 8.814 artigos relacionados no SJR – na liderança estava os Estados Unidos, com 339.770 documentos naquele mesmo ano. Em 2016, o Brasil já aparecia na 14ª colocação, com 68.908 artigos – e os Estados Unidos continuavam na liderança, com 601.990 artigos.
Esses números revelam como a pesquisa científica tem multiplicado a produção de artigos no mundo, o que aumenta ainda mais a necessidade de qualificar essa produção. Essa qualificação também ajuda a destacar outros trabalhos e a valorizar os CVs Lattes dos docentes e pesquisadores brasileiros.
Comparação entre os principais indicadores qualitativos de artigos científicos
Os pesquisadores Valdir Fernandes e Lucas Resende Salviano apresentaram no ano de 2016, em Brasília, um resumo interessante sobre os principais indicadores qualitativos de periódicos. A apresentação “Os indicadores JCR, SNIP, SJR e Google Scholar” identificou as principais características e diferenças entre os indicadores.
Vamos utilizar a apresentação dos pesquisadores como base para este post, que trata sobre os indicadores JCR (Journal Citation Report), SNIP (Source Normalized Impact per Paper), SJR (Scimago Journal Rank) e Google Scholar.
Confira como cada um desses indicadores mede o impacto dos periódicos nos quais os artigos são publicados:
| Indicador | O que mede | Para que serve, vantagens e desvantagens |
| Google Scholar | Mede a produtividade e o impacto de citação de um periódico. Essas informações são medidas com base no conjunto de publicações mais citadas e no número de citações que essas publicações receberam. | Útil para comparar periódicos referentes a uma mesma área do conhecimento. Apresenta como vantagem o fato de que se aplica a grupos de cientistas, tais como departamentos, universidades e países, e como desvantagem o fato de que pode ser manipulado por meio de autocitações. |
| JCR | Mede o número médio de citações de itens publicados recentemente no periódico. Essa quantidade é medida através da razão entre o número de citações no ano corrente para os itens citáveis publicados nos dois anos anteriores e o número de itens citáveis publicados no mesmo período. | Tem a mesma utilidade que o Google Scholar, apresentando como principal vantagem o fato de ser o indicador bibliométrico mais amplamente utilizado e como desvantagem o fato de que é afetado por políticas editoriais. |
| SNIP | Mede o número médio de citações de itens publicados recentemente no periódico, contextualizado por área do conhecimento. Essa informação é obtida através da razão entre o número médio de citações por artigo e o potencial de citação da área do conhecimento a que se refere o periódico. | Útil para comparar periódicos referentes a diversas áreas do conhecimento. A principal vantagem desse indicador é que ele considera a frequência de citação da área do conhecimento, e sua desvantagem é que, comparado ao JCR, tende a diminuir as diferenças entre os periódicos. |
| SJR | Identifica o prestígio científico do periódico. Essa informação é obtida com base na ideia de que a área do conhecimento, a qualidade e a reputação de um periódico influenciam diretamente nas citações por ele realizadas. | Apresenta a mesma utilidade do SNIP. A principal vantagem desse indicador é que ele elimina a manipulação, pois para aumentar o seu valor é preciso publicar em periódicos de maior prestígio. A desvantagem é que, comparado ao JCR, ele tende a aumentar as diferenças entre os periódicos. |
Esses indicadores são atualizados periodicamente pelas instituições que os mantém. Dessa forma, os gestores devem ter em mãos as versões mais atualizadas dos indicadores para avaliar a produtividade científica dos pesquisadores.
Sabemos bem como é trabalhoso e suscetível a erros tabular manualmente os artigos segundo os diversos indicadores de qualidade dos periódicos, mas a tecnologia pode ser uma forte aliada dos gestores na otimização deste trabalho.
A Plataforma Stela Experta©, por exemplo, mantém os indicadores JCR, SJR, SNIP e Scopus h-index constantemente atualizados e permite que os gestores gerem relatórios e indicadores quali-quantitativos dos artigos publicados em periódicos em cliques de mouse, analisando automaticamente as informações preenchidas pelos pesquisadores nos seus CVs Lattes.
