Reprodutibilidade em pesquisa

 

 

Clarissa França Dias Carneiro

  orcid logo https://orcid.org/0000-0001-8127-0034

 Olavo Bohrer Amaral

  orcid logo https://orcid.org/0000-0002-4299-8978

Universidade Federal do Rio de Janeiro
Instituto de Bioquímica Médica Leopoldo de Meis

 

Introdução

A ciência progride construindo conhecimento cumulativamente. Para que isso ocorra de forma eficiente, é necessário que cada fragmento de conhecimento adquirido seja robusto e confiável, o que por sua vez passa pela realização de experimentos, observações e análises reprodutíveis. O processo de verificação e correção da ciência publicada, porém, ocorre de forma pouco sistemática, o que faz com que a reprodutibilidade não seja garantida pela publicação científica em seu formato atual.

Cabe ressaltar que a reprodutibilidade de um achado científico pode ser definida de muitas formas, e que não existe um consenso sobre o uso dos termos “reprodutível” ou “replicável” (1,2). Neste capítulo, utilizaremos “reprodutibilidade” e “replicabilidade” como sinônimos, indicando a obtenção de um resultado semelhante ao se coletar novos dados em condições similares às do estudo original. No entanto, algumas fontes propõem usos diferentes dos dois termos para distinguir a reprodutibilidade de análises baseadas nos mesmos dados daquelas baseadas em novos experimentos ou observações (3).

Nos últimos anos, algumas áreas de pesquisa têm levantado dados a respeito da reprodutibilidade de achados publicados na literatura científica. Em 2005, o epidemiologista John Ioannidis analisou replicações publicadas de artigos altamente citados em pesquisa clínica que apresentassem rigor metodológico e tamanho de amostra maiores ou iguais aos destes artigos. Ele constatou que 21% das replicações contradiziam o estudo original, enquanto outros 21% encontraram efeitos menores do que os inicialmente descritos (4). Entre 2011 e 2012, as indústrias farmacêuticas Bayer e Amgen divulgaram dados de tentativas internas de replicar experimentos da literatura acadêmica. Dos 67 estudos replicados pela Bayer, 21% haviam sido completamente reproduzidos (5), enquanto na Amgen esse número era de 11% de 53 artigos (6).

Na psicologia experimental, diversos sinais de alerta sobre a baixa reprodutibilidade dos achados publicados surgiram no início da década de 2010 (7,8). Em 2015, foram divulgados os resultados de uma grande replicação sistemática de estudos nas áreas de psicologia cognitiva e social, que indicaram taxas de sucesso entre 36% e 47% (9). Desde então, projetos semelhantes encontraram taxas de reprodutibilidade entre 30% e 85% em diferentes amostras de estudos nas ciências sociais e comportamentais (10–13).

Estes levantamentos, porém, são incomuns e restritos a áreas de pesquisa e conjuntos de artigos bastante específicos. Na maior parte das áreas da ciência, assim, ainda dispomos de poucos dados nesse sentido. Ainda assim, os números disponíveis sugerem que não se deve assumir que achados de pesquisa, mesmo que revisados por pares e publicados em revistas de renome, sejam necessariamente reprodutíveis.

Causas de irreprodutibilidade em pesquisa

 

Conflitos entre rigor e impacto

A principal causa atribuída às observações descritas acima é um sistema de publicação e incentivos que recompensa o impacto e a novidade de achados científicos, mas não avalia sistematicamente sua reprodutibilidade, que acaba não sendo levada em conta na avaliação de pesquisadores (14,15). Isso leva a uma literatura repleta de resultados positivos e impactantes, porém geralmente às custas de análises seletivas ou enviesadas e efeitos inflados, que distorcem a nossa percepção sobre os problemas científicos em estudo (16).

Soma-se a este problema o fato de a avaliação de rigor metodológico acabar se misturando à de impacto e originalidade no processo de revisão por pares e apreciação editorial, mesmo que ambas tratem de dimensões distintas da qualidade científica. Com isso, o aceite de um artigo, particularmente em periódicos que prezam pela publicação seletiva de achados de alto impacto, acaba dependendo não só dos métodos da pesquisa mas também de seus resultados. Isto cria um conflito de interesse problemático para os autores, já que o avanço na carreira passa a depender da obtenção de resultados específicos, enviesando a condução e a análise dos estudos (17).

 

Análise e publicação seletivas

Outro ponto frequentemente relacionado à falta de reprodutibilidade na pesquisa biomédica é o uso enviesado de modelos estatísticos. A estrutura teórica na qual se baseiam os testes de significância estatística pressupõe uma definição a priori das variáveis em estudo e das hipóteses testadas. Estes testes, porém, costumam ser aplicados de forma flexível após a coleta e exame dos dados e acabam sendo relatados seletivamente de acordo com os resultados encontrados (18,19). Como não há uma descrição detalhada de todos os procedimentos de análise testados, a capacidade de um leitor em interpretar os resultados fica severamente prejudicada.

Além disso, o problema do engavetamento de resultados “negativos” ou não estatisticamente significativos é reconhecido há décadas (20). Análises empíricas demonstram que o problema é prevalente em muitas áreas da ciência (21–24) – seja por restrições de periódicos ou, mais comumente, por falhas dos próprios pesquisadores em relatar seus resultados negativos (25). Isso também faz com que tentativas frustradas de replicação geralmente não sejam publicadas, dificultando a correção de resultados falso-positivos (26). Paradoxalmente, isso pode tornar a literatura menos confiável à medida que mais pesquisadores se dedicam a uma questão de pesquisa (16).

 

Limitações da revisão por pares

Apesar da confiança dos pesquisadores no processo de revisão por pares (27), estudos a respeito da efetividade deste sistema como mecanismo de controle de qualidade são raros e geralmente limitados em escopo (28,29). Em sua forma tradicional, é inevitável que a revisão por pares tenha um impacto restrito em aprimorar um estudo, já que ocorre após sua conclusão e baseia-se num relato frequentemente seletivo e enviesado por parte dos autores. Ainda assim, mesmo erros que estariam ao alcance dos revisores frequentemente não são detectados (30). Além disso, contribuições pontuais e objetivas da revisão sobre o texto ou o relato de métodos e resultados parecem ser escassas (31–34), sugerindo que o processo falha enquanto mecanismo de controle de qualidade sistemático da literatura (35).

Cabe ainda ressaltar que a própria revisão por pares e o processo editorial estão sujeitos a falhas de reprodutibilidade. A concordância entre revisores vem sendo avaliada em publicações científicas há décadas, e uma meta-análise publicada em 2010 indica que ela é bastante baixa (36). Da mesma forma, análises de concordância entre revisores de pedidos de financiamento indicam a falta de reprodutibilidade entre avaliações (37,38). Tal problema provavelmente está relacionado à ausência de consenso ou direcionamento explícito sobre que aspectos de um artigo devem ser analisados pela revisão por pares, o que faz com que diferentes revisores e editores abordem o processo de maneiras distintas (39).

 

Dificuldades na correção da literatura

Um último problema importante levantado pelos debates recentes acerca da reprodutibilidade na pesquisa biomédica é que o sistema de publicação científica não costuma ser eficiente em corrigir a literatura após a identificação de erros. Mesmo na presença de grande esforço da comunidade para detecção de problemas com as publicações, a taxa de sucesso em obter correções ou retratações é baixa, e marcada pela ausência de cooperação dos periódicos (40,41). Além disso, o fato de que replicações posteriores de um artigo não são facilmente rastreáveis faz com que, mesmo quando um artigo é contradito pela literatura, esta informação não esteja necessariamente disponível para seus leitores (42).

 

Propostas e soluções

 

Descrição sistemática de métodos e resultados

Como descrito acima, a reprodutibilidade passa inicialmente pela capacidade de repetir os mesmos procedimentos experimentais ou analíticos (1,3). Com isso, promovê-la começa por uma descrição adequada e completa dos métodos e resultados. Existem inúmeras diretrizes disponíveis para o relato de diferentes tipos de estudos (43) e este guia inclui um capítulo dedicado especificamente a este tópico.

Por outro lado, levantamentos recentes indicam que a recomendação de diretrizes por parte de periódicos não parece ser suficiente para a melhoria de descrição de métodos e resultados por parte dos autores (44). Soma-se a isso o fato de que a adesão a diretrizes de relato não está necessariamente entre as maiores prioridades de revisores (39). Com isso, garantir a atenção a elas pode requerer uma atitude mais proativa de editores, através do uso de checklists (45,46) ou revisores especializados (47).

 

Disponibilização de dados e materiais

A reprodutibilidade também pode ser promovida pela transparência na disponibilização de dados e instrumentos de pesquisa. Ainda que o compartilhamento de dados brutos seja exigido por alguns periódicos e agências de fomento, isto não garante que estes dados sejam de fato encontráveis, acessíveis, interoperáveis e reutilizáveis (48,49) conforme especificado por diretrizes de gerenciamento (50). Assegurar que isto ocorra passa não só pela existência de políticas nesse sentido, mas também pelo controle de qualidade dos dados e pela facilitação de sua estruturação através de repositórios especializados (51).

Em 2015, foram criadas as TOP Guidelines (52), um conjunto de diretrizes para incentivar periódicos a implementar medidas que aumentem a transparência da pesquisa publicada. A proposta abrange 8 dimensões distintas de transparência (citações, dados, código, materiais, desenho/análise, pré-registro de estudos, pré-registro da análise e replicações), propondo níveis crescentes de implementação de intervenções para estimular cada uma delas. De forma complementar, as diretrizes deram origem a um sistema de avaliação de periódicos baseado no nível de adoção de cada prática (53).

 

Ênfase na metodologia e não no impacto

Outra proposta a nível dos periódicos é a de que os critérios de publicação sejam baseados apenas na avaliação metodológica dos estudos, sem levar em conta o ineditismo e impacto potencial dos resultados. Nesse sentido, a abertura de espaços dedicados à publicação de replicações de achados anteriores pode ter um impacto significativo na confirmação de resultados da literatura (54). Uma possibilidade interessante é a de que periódicos possam solicitar replicações de achados importantes publicados em uma área (55) ou requerer experimentos confirmatórios independentes para publicação de alguns tipos de estudos (56). Idealmente, as replicações devem seguir uma metodologia confirmatória, com protocolos pré-registrados e alto poder estatístico.

Com esse deslocamento da avaliação, o esperado é que a robustez dos resultados passe a ser o foco principal dos pesquisadores. Alguns periódicos têm colocado isso como missão explícita (57), com formulários padronizados para orientar os revisores a direcionarem seus pareceres neste sentido. Dito isso, o uso ubíquo de métricas relacionadas ao número de citações age como um forte estímulo para que o “impacto potencial” de um artigo acabe sendo um critério de seleção editorial na maior parte dos periódicos, o que tem levado à recomendação de que este tipo de métrica não seja enfatizada por periódicos ou utilizada na avaliação de cientistas (58).

 

Registro de protocolos e Registered Reports

Como um passo adicional no sentido de desatrelar a avaliação da pesquisa de seus resultados, alguns periódicos vêm implementando o modelo de Registered Reports, em que o protocolo do estudo, contendo uma descrição detalhada dos métodos, é submetido à avaliação por pares antes da coleta e análise dos dados (59–61). Neste formato, os autores podem receber correções e sugestões antes da execução do estudo, aumentando a probabilidade de benefícios concretos. Além disso, a prática ajuda a conter tanto o viés de publicação quanto a flexibilidade na análise, ao impedir que os métodos de análise sejam definidos a partir dos dados obtidos (18,62,63). Após a conclusão do trabalho, ele é novamente avaliado pelos revisores, que devem levar em conta a adesão à metodologia previamente aprovada e não os resultados obtidos para seu aceite.

Há outras formas de mitigar o problema da flexibilidade de análise que não envolvem mudanças no sistema de revisão por pares. O pré-registro dos protocolos de estudos por parte dos autores também funciona como uma forma de aumentar a reprodutibilidade, ao permitir a distinção entre análises confirmatórias e exploratórias (62,63). Tal procedimento tem sido adotado em áreas específicas de pesquisa, como ensaios clínicos, com resultados encorajadores (64), e pode ser feito em diversas plataformas especializadas, como o Registro Brasileiro de Ensaios Clínicos (65), ou genéricas, como a Open Science Framework (66,67). Com isso, a recomendação ou requisição do pré-registro de protocolo por parte dos periódicos também pode ser uma alternativa para aumentar a reprodutibilidade de estudos publicados (68).

 

Transparência na correção da literatura

Apesar das dificuldades mencionadas anteriormente acerca da correção da literatura, o cenário pode ser diferente quando as iniciativas de correção vêm do próprio periódico. Em 2018, a revista Molecular and Cellular Biology realizou um estudo para identificar imagens problemáticas em suas publicações, resultando na correção de 78% dos erros encontrados (69). Quando implantado após a publicação, porém, o processo gerou cerca de 12 vezes mais tempo de trabalho para a equipe envolvida do que ao ser realizado durante a submissão (69). Outras experiências de periódicos específicos neste sentido incluem a checagem sistemática de imagens (70) e de reprodutibilidade de análise (71) durante o processo de submissão e revisão por pares.

Ainda que essas medidas sejam tomadas, é inevitável que alguns artigos com dados errôneos ou inverídicos acabem passando pelo filtro da revisão por pares, que é sabidamente vulnerável a este tipo de situação (30,72).  Desta forma, também é importante que periódicos e autores trabalhem de forma ágil para corrigir a literatura quando necessário. Quando correções e retratações ocorrerem, é fundamental que estas tenham suas razões explicitadas de forma transparente, o que vem acontecendo com mais frequência (73). Também é importante que estas não gerem um estigma para os pesquisadores envolvidos, de forma a estimular que as iniciativas de correção partam dos próprios autores quando houver dúvidas sobre a reprodutibilidade de resultados publicados (74,75).

 

Apoio a novas formas de publicação

Ainda num contexto de buscar maior transparência, agilidade e acessibilidade da ciência publicada, o uso de preprints vem se tornando uma prática cada vez mais utilizada na pesquisa biomédica (76–79). Preprints aceleram o avanço do conhecimento ao eliminar entraves para a chegada de um achado à literatura científica, além de representarem uma forma de acesso aberto a baixo custo quando comparada aos periódicos tradicionais. Atualmente, diversas plataformas existem com diferentes modos de operação e escopo (76,80). Algumas delas, como o bioRxiv, têm demonstrado sucesso na integração do fluxo de publicação de preprints e submissão a periódicos para revisão por pares (81), num modelo que vem sendo seguido por outras plataformas como medRxiv (82) e SciELO preprints (83).

Durante os primeiros meses da pandemia de COVID-19, a importância da velocidade na disseminação do conhecimento se mostrou ainda mais evidente, reforçando o papel dos preprints neste cenário (84–86). Ainda existem preocupações válidas sobre possíveis riscos do uso de preprints, especialmente em relação ao acesso pelo público não especializado (87,88). Dito isso, a evidência disponível sugere que as diferenças entre preprints e artigos publicados costumam ser pequenas, apoiando a ideia de que ambos devam ser considerados contribuições científicas válidas (31,32). Para além disso, considerando-se o atual contexto social e tecnológico, se opor ao acesso gratuito, imediato e ilimitado ao conhecimento científico não parece uma alternativa aceitável (89,90).

 

Conclusões

Ainda que tenhamos abordado diversas propostas de mudanças no sistema de publicação científica para a melhora da reprodutibilidade, muitas delas ainda estão baseadas em evidências anedóticas e não têm sua efetividade comprovada empiricamente. Com isso, parte da busca por sistemas mais eficazes e eficientes de controle de qualidade em pesquisa deve passar pela testagem experimental de diferentes abordagens. Existem inúmeras questões em aberto e, para respondê-las, a participação dos periódicos é fundamental, seja através da abertura de dados sobre o processo de revisão ou da realização de estudos para avaliar a efetividade de intervenções específicas (28,91).

Por fim, cabe ressaltar que, por mais que periódicos científicos tenham um papel a cumprir na busca por uma ciência mais reprodutível, esta tarefa ultrapassa o escopo do sistema de publicação. Em última análise, desenvolver um sistema de controle de qualidade efetivo na pesquisa acadêmica envolve criar instâncias de revisão e correção ao longo do processo, e não apenas ao seu final. Ao mesmo tempo, é fundamental que os incentivos fornecidos a pesquisadores por instituições e agências de fomento valorizem a transparência e o rigor como objetivos centrais. Com isso, a questão da reprodutibilidade só será solucionada por transformações em múltiplas instâncias, idealmente associadas à pesquisa empírica sobre a efetividade das diversas soluções propostas para o problema.

 

Referências

  1. Goodman SN, Fanelli D, Ioannidis JPA. What does research reproducibility mean? Sci Transl Med. 2016;8(341):1–6. 
  2. Nosek BA, Errington TM. What is replication? PLOS Biol. 2020;18(3):e3000691. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/32218571/> 
  3. National Academies of Sciences Engineering and Medicine. Reproducibility and Replicability in Science. National Academies Press; 2019. 
  4. Ioannidis JPA. Contradicted and Initially Stronger Effects in Highly Cited Clinical Research. JAMA. 2005;294(2):218. [Acesso em 09 set. 2022]. Disponível em: <https://jamanetwork.com/journals/jama/fullarticle/10.1001/jama.294.2.218>
  5. Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? Nat Rev Drug Discov. 2011;10(9):712. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1038/nrd3439-c1> 
  6. Begley CG, Ellis LM. Drug development: Raise standards for preclinical cancer research. Nature. 2012;483(7391):531–3. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1038/483531a>
  7. Pashler H, Wagenmakers E-J. Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? Perspect Psychol Sci. 2012;7(6):528–30. Acesso em 09 set. 2022]. Disponível em: <https://journals.sagepub.com/doi/10.1177/1745691612465253?url_ver=Z39.88-2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%20%200pubmed>
  8. Nosek BA, Hardwicke TE, Moshontz H, Allard A, Corker KS, Almenberg AD, et al. Replicability, Robustness, and Reproducibility in Psychological Science. PsyArXiv. 2021. 
  9. Open Science Collaboration. PSYCHOLOGY. Estimating the reproducibility of psychological science. Science. 2015;349(6251):aac4716. 
  10. Klein RA, Ratliff KA, Vianello M, Adams RB, Bahník Š, Bernstein MJ, et al. Investigating variation in replicability: A “many labs” replication project. Soc Psychol (Gott). 2014;45(3):142–52. 
  11. Camerer CF, Dreber A, Forsell E, Ho T-H, Huber J, Johannesson M, et al. Evaluating replicability of laboratory experiments in economics. Science. 2016;351(6280):1433–6. 
  12. Cova F, Strickland B, Abatista A, Allard A, Andow J, Attie M, et al. Estimating the Reproducibility of Experimental Philosophy. Rev Philos Psychol. 2018;1–36. 
  13. Klein RA, Vianello M, Hasselman F, Adams BG, Adams RB, Alper S, et al. Many Labs 2: Investigating Variation in Replicability Across Samples and Settings. Adv Methods Pract Psychol Sci. 2018;1(4):443–90. 
  14. Smaldino PE, McElreath R. The natural selection of bad science. R Soc Open Sci. 2016;3(9):160384. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/27703703/>
  15. Munafò MR, Nosek BA, Bishop DVM, Button KS, Chambers CD, Percie du Sert N, et al. A manifesto for reproducible science. Nat Hum Behav. 2017;1(1):0021. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/33954258/>
  16. Ioannidis JPA. Why most published research findings are false. PLOS Med. 2005;2(8):0696–701. 
  17. Marder E, Kettenmann H, Grillner S. Impacting our young. Proc Natl Acad Sci U S A. 2010; 107:21233. [Acesso em 09 set. 2022]. Disponível em:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/21098264
  18. Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychol Sci. 2011;22(11):1359–66. [Acesso em 09 set. 2022]. Disponível em: <https://journals.sagepub.com/doi/10.1177/0956797611417632?url_ver=Z39.88-2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%20%200pubmed
  19. John LK, Loewenstein G, Prelec D. Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychol Sci. 2012;23(5):524–32. 
  20. Rosenthal R. The file drawer problem and tolerance for null results. Psychol Bull. 1979;86(3):638–41. 
  21. Fanelli D, Costas R, Ioannidis JPA. Meta-assessment of bias in science. Proc Natl Acad Sci U S A. 2017;114(14):3714–9. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/28320937/>
  22. Dickersin K, Chalmers I. Recognizing, investigating and dealingwith incomplete and biased reporting of clinical research: From Francis Bacon to the WHO. J R Soc Med. 2011;104(12):532–8. [Acesso em 09 set. 2022]. Disponível em:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/22179297/>
  23. Fanelli D. Negative results are disappearing from most disciplines and countries. Scientometrics. 2012;90(3):891–904. 
  24. Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy. N Engl J Med. 2008;358(3):252–60. [Acesso em 09 set. 2022]. Disponível em: <https://www.nejm.org/doi/10.1056/NEJMsa065779?url_ver=Z39.88-2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%20%200www.ncbi.nlm.nih.gov>
  25. Dickersin K, Min YI, Meinert CL. Factors Influencing Publication of Research Results: Follow-up of Applications Submitted to Two Institutional Review Boards. JAMA. 1992;267(3):374–8. 
  26. Baker M. 1,500 scientists lift the lid on reproducibility. Nature. 2016;533:452–4. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1038/533452a>
  27. Sense About Science. Quality, trust & peer review: researchers’ perspectives 10 years on. 2019. 
  28. Tennant JP, Ross-Hellauer T. The limitations to our understanding of peer review. Res Integr Peer Rev. 2020;5(1):6. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/32368354/>
  29. Jefferson T, Rudin M, Brodney Folse S, Davidoff F. Editorial peer review for improving the quality of reports of biomedical studies. Cochrane Database Syst Rev. 2007;(2):MR000016. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/17443635/>
  30. Schroter S, Black N, Evans S, Godlee F, Osorio L, Smith R. What errors do peer reviewers detect, and does training improve their ability to detect them? J R Soc Med. 2008;101(10):507–14. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/18840867/> 
  31. Carneiro CFD, Queiroz VGS, Moulin TC, Carvalho CAM, Haas CB, Rayêe D, et al. Comparing quality of reporting between preprints and peer-reviewed articles in the biomedical literature. Res Integr Peer Rev. 2020;5(1):16. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/33292815/>
  32. Klein M, Broadwell P, Farb SE, Grappone T. Comparing published scientific journal articles to their pre-print versions. Int J Digit Libr. 2018;1–16. 
  33. Goodman SN, Berlin J, Fletcher SW, Fletcher RH. Manuscript quality before and after peer review and editing at Annals of Internal Medicine. Ann Intern Med. 1994;121(1):11–21. 
  34. Pierie J-PE, Walvoort HC, Overbeke AJP. Readers’ evaluation of effect of peer review and editing on quality of articles in the Nederlands Tijdschrift voor Geneeskunde. Lancet. 1996;348(9040):1480–3. 
  35. Ioannidis JPA, Tatsioni A, Karassa FB. Who is afraid of reviewers’ comments? Or, why anything can be published and anything can be cited. Eur J Clin Invest. 2010;40(4):285–7. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1111/j.1365-2362.2010.02272.x>
  36. Bornmann L, Mutz R, Daniel H-D. A Reliability-Generalization Study of Journal Peer Reviews: A Multilevel Meta-Analysis of Inter-Rater Reliability and Its Determinants. Rogers S, editor. PLOS One. 2010;5(12):e14331. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/21179459/>
  37. Cole S, Cole JR, Simon GA. Chance and Consensus in Peer Review. Science. 1981;214:881–6. 
  38. Pier EL, Brauer M, Filut A, Kaatz A, Raclaw J, Nathan MJ, et al. Low agreement among reviewers evaluating the same NIH grant applications. Proc Natl Acad Sci U S A. 2018;115(12):2952–7. Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/29507248/>
  39. Glonti K, Cauchi D, Cobo E, Boutron I, Moher D, Hren D. A scoping review on the roles and tasks of peer reviewers in the manuscript review process in biomedical journals. BMC Med. 2019;17(1):118. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/31217033/>
  40. Allison DB, Brown AW, George BJ, Kaiser KA. Reproducibility: A tragedy of errors. Nature. 2016;530:27–9. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/26842041/>
  41. Casadevall A, Steen RG, Fang FC. Sources of error in the retracted scientific literature. FASEB J. 2014;28(9):3847–55. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/24928194/>
  42. Hartshorne JK, Schachner A. Tracking Replicability as a Method of Post-Publication Open Evaluation. Front Comput Neurosci. 2012;6:8. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/22403538/>
  43. Equator Network. EQUATOR NETWORK website [Internet]. [cited 2019 Jan 3]. Available from: https://www.equator-network.org/
  44. Stevens A, Shamseer L, Weinstein E, Yazdi F, Turner L, Thielman J, et al. Relation of completeness of reporting of health research to journals’ endorsement of reporting guidelines: Systematic review. BMJ. 2014;348. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/24965222/>
  45. Hair K, Macleod MR, Sena ES. A randomised controlled trial of an Intervention to Improve Compliance with the ARRIVE guidelines (IICARus). Res Integr Peer Rev. 2019;4(1):12. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/31205756/>
  46. The NPQIP Collaborative group. Did a change in Nature journals’ editorial policy for life sciences research improve reporting? BMJ Open Sci. 2019;3(1):e000035. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/35047682/>
  47. Cobo E, Selva-O’Callagham A, Ribera J-M, Cardellach F, Dominguez R, Vilardell M. Statistical Reviewers Improve Reporting in Biomedical Articles: A Randomized Trial. Scherer R, editor. PLOS One. 2007;2(3):e332. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/17389922/>
  48. Hardwicke TE, Mathur MB, MacDonald K, Nilsonne G, Banks GC, Kidwell MC, et al. Data availability, reusability, and analytic reproducibility: evaluating the impact of a mandatory open data policy at the journal Cognition. R Soc Open Sci. 2018;5(8):180448. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/30225032/>
  49. Stodden V, Seiler J, Ma Z. An empirical analysis of journal policy effectiveness for computational reproducibility. Proc Natl Acad Sci U S A. 2018;115(11):2584–9. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/29531050/>
  50. Wilkinson MD, Dumontier M, Aalbersberg IjJ, Appleton G, Axton M, Baak A, et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data. 2016;3(1):1–9. 
  51. re3data.org – Registry of Research Data Repositories [Internet]. [cited 2021 Feb 24]. Available from: https://doi.org/10.17616/R3D
  52. Nosek BA, Alter G, Banks GC, Borsboom D, Bowman SD, Breckler SJ, et al. Promoting an open research culture. Science. 2015;348(6242):1422–5. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/26113702/>
  53. Center for Open Science. New Measure Rates Quality of Research Journals’ Policies to Promote Transparency and Reproducibility [Internet]. 2020 [cited 2021 Feb 5]. Available from: https://www.cos.io/about/news/new-measure-rates-quality-research-journals-policies-promote-transparency-and-reproducibility
  54. Moonesinghe R, Khoury MJ, Janssens ACJW. Most Published Research Findings Are False—But a Little Replication Goes a Long Way. PLOS Med. 2007;4(2):e28. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/17326704/>
  55. Wagenmakers EJ, Forstmann BU. Rewarding high-power replication research. Cortex. 2014;51:105–6. 
  56. Mogil JS, Macleod MR. No publication without confirmation. Nature. 2017;542:409–11. Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1038/542409a>
  57. MacCallum CJ. ONE for All: The Next Step for PLoS. PLOS Biol. 2006;4(11):e401. [Acesso em 09 set. 2022]. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/17523266/>
  58. San Francisco Declaration on Research Assessment [Internet]. 2012. [cited 2021 Feb 25]. Available from: https://sfdora.org/read/
  59. Hardwicke TE, Ioannidis JPA. Mapping the universe of registered reports. Nature Human Behaviour. 2018;2:793–6. 
  60. Chambers C. What’s next for Registered Reports? Nature. 2019;573:187–9. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1038/d41586-019-02674-6>
  61. Center for Open Science. Registered Reports [Internet]. [cited 2021 Feb 25]. Available from: https://www.cos.io/initiatives/registered-reports
  62. Nosek BA, Ebersole CR, DeHaven AC, Mellor DT. The preregistration revolution. Proc Natl Acad Sci U S A. 2018;115(11):2600–6. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1073/pnas.1708274114>
  63. Gelman A, Loken E. The statistical Crisis in science. Am Sci. 2014;102(6):460–5. 
  64. Kaplan RM, Irvin VL. Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time. Garattini S, editor. PLOS One. 2015;10(8):e0132382. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1371/journal.pone.0132382>
  65. ReBEC – Registro Brasileiro de Ensaios Clínicos [Internet]. [cited 2021 Feb 25]. Available from: https://ensaiosclinicos.gov.br/
  66. Mellor DT. Templates of OSF Registration Forms [Internet]. Open Science Framework. 2021 [cited 2021 Feb 25]. Available from: https://osf.io/zab38/wiki/home/
  67. World Health Organization. Primary registries in the WHO registry network [Internet]. [cited 2021 Feb 25]. Available from: https://www.who.int/clinical-trials-registry-platform/network/primary-registries
  68. De Angelis C, Drazen JM, Frizelle FA, Haug C, Hoey J, Horton R, et al. Clinical trial registration: A statement from the International Committee of Medical Journal Editors. CMAJ. 2004;171:606–7. 
  69. Bik EM, Fang FC, Kullas AL, Davis RJ, Casadevall A.  Analysis and Correction of Inappropriate Image Duplication: the Molecular and Cellular Biology Experience . Mol Cell Biol. 2018;38(20).[Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1128/mcb.00309-18>
  70.  Pearson H. CSI: Cell biology. Nature. 2005;434:952–3. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1038/434952a>
  71. AJPS Verification Policy [Internet]. American Journal of Political Science. [cited 2021 Feb 25]. Available from: https://ajps.org/ajps-verification-policy/
  72. Heathers J. The Lancet has made one of the biggest retractions in modern history. How could this happen? The Guardian [Internet]. 2020 [cited 2021 Feb 24]; Available from: https://www.theguardian.com/commentisfree/2020/jun/05/lancet-had-to-do-one-of-the-biggest-retractions-in-modern-history-how-could-this-happen
  73. Deculllier E, Maisonneuve H. Correcting the literature: Improvement trends seen in contents of retraction notices. BMC Res Notes. 2018;11(1):490. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1186/s13104-018-3576-2>
  74. Rohrer JM, Tierney W, Uhlmann EL, DeBruine LM, Heyman T, Jones B, et al. Putting the Self in Self-Correction: Findings from the Loss-of-Confidence Project. PsyArXiv. 2020. 
  75. Bishop DVM. Fallibility in Science: Responding to Errors in the Work of Oneself and Others. Adv Methods Pract Psychol Sci. 2018;1(3):432–8. 
  76. Kirkham JJ, Penfold NC, Murphy F, Boutron I, Ioannidis JP, Polka J, et al. Systematic examination of preprint platforms for use in the medical and biomedical sciences setting. BMJ Open. 2020;10(12):e041849. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1136/bmjopen-2020-041849>
  77.  Kaiser J. The preprint dilemma. Science. 2017;357:1344–9. [Acesso em 09 set. 2022]. Disponível em: <https://www.science.org/doi/10.1126/science.357.6358.1344?url_ver=Z39.88-2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%20%200pubmed>
  78. Biology preprints over time [Internet]. ASAPbio blog. 2020 [cited 2021 Feb 25]. Available from: https://asapbio.org/preprint-info/biology-preprints-over-time
  79. Abdill RJ, Blekhman R. Meta-research: Tracking the popularity and outcomes of all bioRxiv preprints. eLife. 2019;8:e45133. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.7554/elife.45133> 
  80. Malički M, Jerončić A, Ter Riet G, Bouter LM, Ioannidis JPA, Goodman SN, et al. Preprint Servers’ Policies, Submission Requirements, and Transparency in Reporting and Research Integrity Recommendations. JAMA. 2020; 324:1901–3. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1001/jama.2020.17195>
  81. Sever R, Roeder T, Hindle S, Sussman L, Black K-J, Argentine J, et al. bioRxiv: the preprint server fot biology. bioRxiv. 2019. 
  82. Kaiser J. Medical preprint server debuts. Science. 2019. 
  83. SCIENTIFIC ELECTRONIC LIBRARY ONLINE. SciELO Preprints em operação [Internet]. SciELO em Perspectiva. 2020 [cited 2021 Feb 5]. Available from: https://blog.scielo.org/blog/2020/04/07/scielo-preprints-em-operacao/#.YB2aInlv_IU
  84. Else H. How a torrent of COVID science changed research publishing – in seven charts. Nature. 2020;588:p. 553. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1038/d41586-020-03564-y> 
  85. Oransky I, Marcus A. Quick retraction of coronavirus paper was good moment for science [Internet]. 2020 [cited 2021 Jan 20]. Available from: https://www.statnews.com/2020/02/03/retraction-faulty-coronavirus-paper-good-moment-for-science/
  86. Fraser N, Brierley L, Dey G, Polka J, Pálfy M, Nanni F, et al. Preprinting the COVID-19 pandemic. bioRxiv. 2020. 
  87. Anderson R. Journalism, Preprint Servers, and the Truth: Allocating Accountability [Internet]. The Scholarly Kitchen. 2020 [cited 2021 Feb 5]. Available from: https://scholarlykitchen.sspnet.org/2020/12/14/journalism-preprint-servers-and-the-truth-allocating-accountability/
  88. Saitz R, Schwitzer G. Communicating Science in the Time of a Pandemic. JAMA. 2020; 324:443–4.[Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1001/jama.2020.12535>
  89. Cobb M. The prehistory of biology preprints: A forgotten experiment from the 1960s. PLOS Biol. 2017;15(11):e2003995. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1371/journal.pbio.2003995>
  90. Penfold NC, Polka JK. Technical and social issues influencing the adoption of preprints in the life sciences. Shafee T, editor. PLOS Genet. 2020;16(4):e1008565. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1371/journal.pgen.1008565>
  91. Schroter S, Loder E, Godlee F. Research on peer review and biomedical publication. The BMJ. 2020:368. [Acesso em 09 set. 2022]. Disponível em: <https://doi.org/10.1136/bmj.m661>

 

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial-CompartilhaIgual 4.0 Internacional.

 

 

Was this page helpful?
Yes 1 No