Dados da Fiocruz são utilizados em estudo que avalia se fontes abertas de dados bibliométricos são melhores que as proprietárias

A confiabilidade de fornecedores de dados bibliométricos abertos em relação aos serviços proprietários é um tema importante para a Ciência Aberta, especialmente para financiadores de pesquisa e seus instrumentos avaliativos. Recentemente, uma amostra de publicações realizadas nos anos de 2021-2022 e identificadas com a afiliação institucional da Fiocruz foi utilizada em uma avaliação de impacto contrafactual encomendada pela cOAlition S - consórcio que reúne agências de fomento à pesquisa e financiadores de 12 países europeus, responsável pelo Plano S, que determinou a exclusividade da publicação em Acesso Aberto entre seus financiados a partir de 2021.

Na prática, a pesquisa encomendada pela cOAlition S à consultoria Scidecode Science pretendia verificar a hipótese de que a qualidade e abrangência das referências bibliográficas fornecidas por fontes abertas estão no mesmo nível, se não melhor, do que aqueles fornecidos por fontes comerciais. Isto porque, a medida em que se preconiza a adoção de infraestruturas abertas em detrimento de serviços proprietários, é preciso analisar a viabilidade do uso de fontes abertas em análises bibliométricas que, por sua vez, são utilizadas para medir a produtividade e o impacto de pesquisadores. 

Metodologia

Segundo a Scidecode Science, as principais razões para a escolha de publicações da Fiocruz foi o fato de a fundação não ser uma instituição do Norte Global e do inglês não ser a língua nativa. Nesse sentido, os consultores trabalhavam com a hipótese inicial de encontrar um bom número de publicações em língua diferente do inglês e sem um Digital Object Identifier (DOI) atrelado. A partir desta definição, duas abordagens foram utilizadas para analisar os dois subconjuntos de dados (com estrutura de campos razoavelmente semelhante) oriundos do OA.Report e de um banco de dados comercial. 

Em um primeiro momento, foi comparado o número de publicações nas duas amostras e analisado o motivo de divergência entre elas. O primeiro arquivo, de 29 de outubro de 2023, fornecido pela OA.Report, registrava 1.301 publicações com afiliação institucional Fiocruz nos anos de 2021-2022. Já o segundo arquivo, baixado de um banco de dados comercial na mesma data, apresentava 903 documentos – a diferença é de quase um terço (a mais) na OA. Report em relação ao subconjunto da base comercial. 

Posteriormente, uma análise qualitativa verificou a precisão da captura das informações de financiamento em ambas as amostras. Além disso, verificou-se os registros “únicos” fornecidos pela amostra mais rica (OA. Report) eram realmente financiados pela Fiocruz. Nesta etapa, os consultores identificaram que o reconhecimento da questão do financiamento é difícil de ser capturado adequadamente nos metadados. Entre os 398 artigos faltantes, a maioria deles não é diretamente financiada pela Fiocruz, mas conta com outros tipos de aportes, como instalações e equipamentos, que são mencionados, por exemplo, na seção de agradecimentos. 

Para a consultoria Scidecode Science, essas citações são suficientes para justificar a sua inclusão nas fontes de dados comerciais. Além disso, percebeu-se que o uso do nome da fundação em inglês pode acarretar outras lacunas, indicando a necessidade de realizar consultas multilíngues para garantir a consistência dos dados.

Conclusões

Embora o panorama das publicações identificadas com afiliação institucional Fiocruz em 2021-2022, fornecido pelas bases de dados bibliográficas abertas não seja perfeito, ele foi considerado suficientemente abrangente pelos consultores da Scidecode Science no que se refere a subsidiar o Plano S em suas avaliações sobre políticas de Acesso Aberto. Segundo a consultoria, o estudo mostra que os conjuntos de dados fornecidos pelo OA.Report formam uma base sólida para a comparação entre os cenários pré e pós lançamento do Plano S, atendendo aos requisitos de licenciamento estabelecidos pela cOAlition S.