Ainda no início da pandemia, dois artigos sobre o novo coronavírus publicados em respeitadas revistas científicas tiveram amplo impacto e repercussão. O primeiro, divulgado em 1º de maio de 2020 na New England Journal of Medicine, avaliou os efeitos de alguns medicamentos para doenças cardíacas em pacientes infectados com o Sars-CoV-2. O outro, publicado em 22 de maio na The Lancet, sugeria que a hidroxicloroquina, além de não ser eficaz contra a Covid-19, aumentava o risco de mortalidade por problemas cardíacos. Os dois estudos foram retratados em 5 de junho por suspeita de fraude da empresa que forneceu os dados que embasavam suas conclusões – e a impossibilidade de assegurar a veracidade dessas informações tornou inviável a comprovação dos resultados (ver Pesquisa FAPESP nº 293). Isso deveria ter colocado um fim nas trajetórias científicas desses papers, mas não foi o que aconteceu. Mesmo anulados, eles continuaram sendo citados na literatura especializada como se fossem válidos, segundo levantamento feito por pesquisadores da Austrália e Suécia.

Com base em dados da plataforma Retraction Watch, que rastreia trabalhos científicos cancelados por erros ou má conduta, foram analisados 212 papers sobre a Covid-19 retratados até janeiro de 2022. Um quarto deles apresentava achados clínicos relevantes para o tratamento de pessoas acometidas pela doença. Os autores verificaram que esses estudos haviam recebido 1.036 citações, 80% delas feitas após terem sido invalidados. Além disso, 86% não sinalizavam que eles tinham sido retratados, difundindo a falsa ideia de que ainda eram considerados válidos pela comunidade científica. “Em teoria, os cientistas deveriam citar estudos retratados apenas de forma crítica, deixando claro que estão se referindo a dados inválidos e não confiáveis”, destacou o cientista político e social Steve McDonald, pesquisador da Faculdade de Saúde Pública e Medicina Preventiva da Universidade Monash, na Austrália, um dos autores do levantamento, publicado em junho como preprint na plataforma medRxiv. “No entanto, observamos que, em muitos casos, eles não os citaram como uma retratação, mas como evidência de que ‘essa intervenção em particular é eficaz’ ou ‘não há nada de errado com essa pesquisa’. Ou seja, citaram acriticamente papers anulados.”

Os pesquisadores analisaram casos específicos de artigos retratados sobre a Covid-19, “mas, com base na minha experiência, é razoável supor que o mesmo aconteça com trabalhos sobre outros assuntos, sobretudo porque parecem ser raros os cientistas que examinam de forma criteriosa os documentos que estão citando em seus manuscritos antes de publicá-los”, disse à The Scientist o epidemiologista Gideon Meyerowitz-Katz, da Faculdade de Saúde e Sociedade da Universidade Wollongong, na Austrália, um dos autores do levantamento.

O descuido realmente está longe de ser incomum. Nos últimos anos, vários estudos têm chamado a atenção para esse fenômeno que afeta a integridade da produção científica. Em um deles, publicado em fins de 2020, pesquisadores da Universidade de Illinois, nos Estados Unidos, e de Adelaide, na Austrália, analisaram a trajetória de um artigo do cirurgião Wataru Matsuyama, da Universidade Kagoshima, no Japão. Publicado em 2005, apresentava os resultados de um ensaio clínico que apontou efeitos positivos da gordura poli-insaturada ômega-3 em pessoas com doença pulmonar obstrutiva crônica. Uma investigação sobre a produção de Matsuyama levou à retratação do trabalho em 2008 por falsificação de dados. Ainda assim, os autores encontraram outros 35 papers com citações diretas a ele entre 2010 e 2019 – nenhum apontava a retratação. Mais recentemente, pesquisadores das universidades de Graz e Salzburgo, na Áustria, debruçaram-se sobre artigos do anestesiologista norte-americano Scott Reuben, ex-professor da Universidade Tufts, em Boston, condenado a seis meses de prisão em 2009 por fabricar dados em trabalhos publicados nas décadas de 1990 e 2000. Eles escrutinaram as taxas de citação de vários papers de Reuben, retratados ou não. Constataram que seus trabalhos foram citados em outros artigos 420 vezes entre 2009 e 2019; 360 remetiam aos trabalhos anulados, a maioria deles sem fazer nenhuma indicação de que já não eram mais considerados válidos.

Os casos não param por aí. Muitos papers continuam a exercer influência após serem anulados, e estudiosos de diferentes áreas tentam entender os fatores que contribuem para que eles permaneçam repercutindo na literatura científica. O que parece estar claro é que na maioria das vezes os autores não percebem que estão usando artigos inválidos como referência. Em parte, isso acontece porque há cópias de papers anulados em múltiplos repositórios e nem todos dispõem de mecanismos para atualizar o status de cada manuscrito, de modo que, ao pesquisar um assunto no Google Acadêmico, por exemplo, o cientista pode ser redirecionado para cópias intactas de artigos cancelados. O ideal é que as retratações sempre fossem sinalizadas. “Plataformas como a Research Gate poderiam ser mais ativas nesse sentido”, afirma a microbiologista holandesa Elisabeth Bik, especialista na identificação de indícios de erros e fraudes na produção científica.

O risco nesses casos é de que os papers anulados comprometam a validade dos artigos que os tomaram de base, e que estes induzam outros pesquisadores ao erro, poluindo a literatura científica com conhecimentos errôneos e falsos que podem colocar a vida de pessoas em risco. Para Bik, as editoras deveriam se esforçar mais para comunicar correções e retratações, embora reconheça que seria difícil ser 100% eficiente. “É como no caso de um fabricante que faz recall de um produto defeituoso”, ela explica. “É quase impossível alcançar todos os clientes que o compraram.” Na avaliação do jornalista Ivan Oransky, fundador do Retraction Watch, “o esforço para evitar que papers retratados continuem se infiltrando na literatura científica deve ser compartilhado por toda a comunidade acadêmica”.

Esforço para evitar a propagação de papers anulados deve ser compartilhado por toda a comunidade acadêmica

Uma das iniciativas nesse sentido é o projeto Reduzindo a Propagação Inadvertida de Ciência Retratada (RISRS), lançado em 2020 pela cientista da informação Jodi Schneider, da Faculdade de Ciência da Informação da Universidade de Illinois Urbana-Champaign, nos Estados Unidos. A proposta é reunir cientistas, editores, escritórios de integridade em pesquisa, consultores, entre outros representantes do ecossistema acadêmico, para discutir o fenômeno e pensar caminhos para combatê-lo. As discussões promovidas até aqui já resultaram em uma série de recomendações, como a criação de uma plataforma a ser usada por todas as editoras para acompanhar artigos retratados e verificar se eles aparecem nas referências de manuscritos recém-aceitos. “Muitas já adotaram sistemas que permitem aos leitores checar se a versão do artigo que estão consultando é a mais recente”, destaca Bik.

Outro desdobramento do RISRS foi a criação, em fins de 2021, de um painel de especialistas no âmbito da Organização Nacional de Normas de Informação dos Estados Unidos (Niso) para elaborar orientações sobre como as editoras devem comunicar retratações, correções e “expressões de preocupação”, declarações sinalizando que os resultados de determinado artigo estão sendo reavaliados. “A iniciativa se concentrará no que acontece quando o estudo é retratado, isto é, quais metadados devem ser atualizados, como a retratação pode ser sinalizada e como essa informação será comunicada aos interessados”, informou Schneider em entrevista ao portal The Scholarly Kitchen. “Se a iniciativa avançar, editores, servidores de preprints e repositórios de dados terão orientações claras e uniformizadas sobre metadados e padrões de exibição.”

“Isso será muito útil aos editores brasileiros”, comenta Sigmar de Mello Rode, presidente da Associação Brasileira dos Editores Científicos (Abec Brasil). Ele destaca, porém, que “o mecanismo de controle mais eficiente para evitar a propagação de artigos retratados ainda é a revisão por pares rigorosa e ética”.

Para o paleontólogo Alexander Kellner, diretor do Museu Nacional da Universidade Federal do Rio de Janeiro (UFRJ) e editor-chefe da Anais da Academia Brasileira de Ciências, o combate a esse problema no Brasil passa pela profissionalização dos editores científicos. “As revistas brasileiras são geridas por pesquisadores que precisam lidar com várias outras demandas na carreira, diferentemente das principais publicações dos Estados Unidos e do Reino Unido, que contam com recursos e infraestrutura para desempenhar essa atividade”, ele diz. “Não dispomos de recursos humanos e técnicos que nos permitam analisar cada referência nos manuscritos que nos são submetidos.” Bik alerta que já existem mecanismos automatizados para executar essa tarefa. Softwares de gerenciamento de referências, como o LibKey, Zotero e Endnote, são capazes de cruzar o código identificador dos estudos citados com a lista de mais de 36 mil trabalhos retratados do banco de dados do Retraction Watch.

A bióloga Jacqueline Leta, do Instituto de Bioquímica Médica da UFRJ, especialista em cientometria, concorda que seria útil adotar ferramentas automatizadas para monitorar artigos inválidos. “A maioria das revistas já usa softwares para verificar se há plágio em manuscritos submetidos para publicação”, ela diz. “Não seria difícil incluir em sua rotina editorial a verificação das referências.” Uma vez detectada uma retratação, o periódico alertaria os autores e daria a eles a opção de excluir a citação ou então indicá-la apenas em uma nota de rodapé, de modo a evitar que a menção seja computada pelos índices de citação – que não fazem distinção entre referências positivas e negativas – e que isso gere distorções em um dos mecanismos quantitativos mais usados para avaliar o desempenho dos pesquisadores, o índice-h (ver Pesquisa FAPESP nº 207).

Leta aponta ainda outra frente para avançar: “As notas de retratação não podem ser ambíguas ou evasivas. Elas precisam se tornar mais transparentes e fornecer o máximo possível de detalhes sobre os problemas encontrados no artigo, incluindo quais foram os motivos, quem pediu a retratação e se ela foi um consenso entre os editores”.

Paradoxo da crítica
Mesmo negativas, citações a papers retratados dão voz a trabalhos que deveriam ser esquecidos

Em 1998, o médico britânico Andrew Wakefield publicou um artigo na The Lancet sugerindo que a vacina tríplice viral (MMR) estaria associada a casos de autismo em crianças. O trabalho foi retratado em 2010 por problemas metodológicos e de má conduta, mas isso não foi suficiente para controlar seus efeitos deletérios. O paper segue sendo referência para movimentos antivacina e seus resultados frequentemente são dados como válidos em redes sociais.

Ele também continua sendo discutido pela comunidade científica. Um estudo coordenado pela bióloga Jacqueline Leta, da UFRJ, indica que o trabalho recebeu 1.577 citações em artigos indexados na base de dados Scopus, 53% delas após sua retratação. Ao analisar os 60 artigos que mencionavam o estudo de Wakefield e receberam mais de 100 citações cada, ela verificou que a maioria o reconhecia como um artigo invalidado e se referia a ele de modo negativo, destacando seus problemas metodológicos e impactos nocivos na sociedade. “Ainda assim”, diz Leta, “eles ajudam a promover Wakefield, permitindo que ele apareça em revistas de grande circulação”.

Esses resultados expõem um aspecto paradoxal da crítica a artigos anulados. Embora destaquem que suas conclusões são falhas e busquem discutir seus efeitos deletérios, esses trabalhos dão voz a papers que deveriam ser esquecidos.

Ainda não há consenso entre os pesquisadores sobre como lidar com isso. Há quem defenda que os artigos retratados fossem retirados do ar, pois perderam seu valor científico. Outros argumentam que eles nem sequer deveriam ser objeto de novos estudos.

A microbiologista holandesa Elisabeth Bik é contrária a essa ideia. “É importante que trabalhos retratados possam ser estudados”, afirma. A prática é válida, mas como os indicadores de produtividade do autor não fazem distinção entre citações positivas e negativas, a recomendação é que a menção ao artigo retratado seja feita em nota de rodapé – foi o que Leta fez com o paper de Wakefield, ainda que o nome do médico conste no título do trabalho.

Alexandre Affonso

Este texto foi originalmente publicado por Pesquisa FAPESP de acordo com a licença Creative Commons CC-BY-NC-ND. Leia o original aqui.