Reproducibilidad en la investigación

 

 

Clarissa França Dias Carneiro

orcid logo https://orcid.org/0000-0001-8127-0034

Olavo Bohrer Amaral

orcid logo https://orcid.org/0000-0002-4299-8978

Universidade Federal do Rio de Janeiro
Instituto de Bioquímica Médica Leopoldo de Meis

 

Introducción

La ciencia progresa mediante la acumulación de conocimientos. Para que esto ocurra de manera eficiente, cada conocimiento adquirido debe ser robusto y confiable, lo que a su vez implica la realización de experimentos, observaciones y análisis reproducibles. El proceso de verificación y corrección de la ciencia publicada, sin embargo, ocurre de manera no sistemática, lo que significa que la reproducibilidad no está garantizada por la publicación científica en su formato actual. 

Cabe señalar que la reproducibilidad de un descubrimiento científico se puede definir de muchas formas y que no existe consenso sobre el uso de los términos “reproducible” o “replicable” (1,2). En este capítulo, usaremos “reproducibilidad” y “replicabilidad” como sinónimos, lo que indica que se obtiene un resultado similar al recolectar nuevos datos en condiciones similares a las del estudio original. Sin embargo, algunas fuentes proponen diferentes usos de los dos términos para distinguir la reproducibilidad de los análisis basados ​​en los mismos datos de aquellos basados ​​en nuevos experimentos u observaciones (3).

En los últimos años, algunas áreas de investigación científica han recopilado datos sobre la reproducibilidad de los hallazgos publicados en la literatura científica. En 2005, el epidemiólogo John Ioannidis analizó las réplicas publicadas de artículos muy citados en la investigación clínica que presentaban un rigor metodológico y un tamaño de la muestra superior o igual a estos artículos. Encontró que el 21% de las réplicas contradecía el estudio original, mientras que otro 21% encontró efectos más pequeños que los descritos inicialmente (4). Entre 2011 y 2012, las compañías farmacéuticas Bayer y Amgen publicaron datos de intentos internos de replicar experimentos de la literatura académica. De los 67 estudios replicados por Bayer, el 21% se había reproducido completamente (5), mientras que en Amgen este número era del 11% de 53 artículos (6).

En psicología experimental, a principios de la década de 2010 surgieron varias señales de advertencia sobre la baja reproducibilidad de los hallazgos publicados (7,8). En 2015, se dieron a conocer los resultados de una gran replicación sistemática de estudios en las áreas de psicología cognitiva y social, que indicaron tasas de éxito entre 36% y 47% (9). Desde entonces, proyectos similares han encontrado tasas de reproducibilidad entre el 30% y el 85% en diferentes muestras de estudios en las ciencias sociales y del comportamiento (10-13).

Sin embargo, estas encuestas son poco comunes y están restringidas a áreas de investigación y conjuntos de artículos muy específicos. En la mayoría de las áreas de la ciencia, por lo tanto, todavía tenemos pocos datos al respecto. Sin embargo, las cifras disponibles sugieren que los resultados de la investigación, incluso si se revisan por pares y se publican en revistas de renombre, no deben asumirse como necesariamente reproducibles.

Causas de irreproducibilidad en la investigación

Conflictos entre rigor e impacto

La principal causa atribuida a las observaciones descritas anteriormente es un sistema de publicación e incentivos que premia el impacto y la novedad de los hallazgos científicos, pero no evalúa sistemáticamente su reproducibilidad, lo que termina por no ser tenido en cuenta en la evaluación de los investigadores (14,15). ). Esto conduce a una literatura llena de resultados positivos e impactantes, pero generalmente a expensas de análisis selectivos o sesgados y efectos inflados, que distorsionan nuestra percepción de los problemas científicos en estudio (16).

A este problema se suma el hecho de que la valoración del rigor metodológico acaba mezclándose con la del impacto y la originalidad en el proceso de revisión por pares y valoración editorial, aunque ambos abordan diferentes dimensiones de la calidad científica. Así, la aceptación de un artículo, particularmente en revistas que valoran la publicación selectiva de hallazgos de alto impacto, acaba dependiendo no solo de los métodos de investigación sino también de sus resultados. Esto genera un conflicto de intereses problemático para los autores, ya que el avance profesional depende de la obtención de resultados específicos, sesgando la realización y análisis de los estudios (17).

Publicación y análisis selectivos

Otro punto que a menudo se relaciona con la falta de reproducibilidad en la investigación biomédica es el uso sesgado de modelos estadísticos. El marco teórico en el que se basan las pruebas de significancia estadística presupone una definición a priori de las variables en estudio y las hipótesis contrastadas. Sin embargo, estas pruebas suelen aplicarse de forma flexible después de la recopilación y el examen de los datos y acaban siendo informados de forma selectiva según los resultados encontrados (18,19). Como no hay una descripción detallada de todos los procedimientos de análisis probados, la capacidad del lector para interpretar los resultados se ve gravemente afectada.

Además, el problema de dejar de lado los resultados “negativos” o no estadísticamente significativos ha sido reconocido desde hace décadas (20). Los análisis empíricos demuestran que el problema prevalece en muchas áreas de la ciencia (21-24), ya sea debido a las restricciones de las revistas o, más comúnmente, debido a que los propios investigadores no informaron sus resultados negativos (25). Esto también hace que los intentos fallidos de replicación generalmente no se publiquen, lo que dificulta la corrección de resultados falsos positivos (26). Paradójicamente, esto puede hacer que la literatura sea menos confiable a medida que más investigadores se enfocan en una pregunta de investigación (16).

Limitaciones de la revisión por pares

A pesar de la confianza de los investigadores en el proceso de revisión por pares (27), los estudios sobre la efectividad de este sistema como mecanismo de control de calidad son raros y generalmente de alcance limitado (28,29). En su forma tradicional, la revisión por pares inevitablemente tiene un impacto limitado en la mejora de un estudio, ya que ocurre después de su finalización y se basa en informes a menudo selectivos y sesgados por parte de los autores. Aún así, incluso los errores que estarían al alcance de los revisores con frecuencia pasan desapercibidos (30). Además, las contribuciones puntuales y objetivas de la revisión del texto o el reporte de métodos y resultados parecen ser escasas (31-34), lo que sugiere que el proceso falla como mecanismo sistemático de control de calidad en la literatura (35).

También vale la pena señalar que mismo la revisión por pares y el proceso editorial están sujetos a fallas de reproducibilidad. La concordancia entre revisores en publicaciones científicas se ha evaluado durante décadas, y un metaanálisis publicado en 2010 indica que es bastante baja (36). Asimismo, los análisis de acuerdo entre los revisores de las solicitudes de financiamiento indican una falta de reproducibilidad entre evaluaciones (37,38). Este problema probablemente esté relacionado con la falta de consenso o orientación explícita sobre qué aspectos de un artículo deben ser analizados mediante revisión por pares, lo que hace que diferentes revisores y editores aborden el proceso de diferentes maneras (39).

Dificultades para corregir la literatura.

Un último problema importante planteado por los debates recientes sobre la reproducibilidad en la investigación biomédica es que el sistema de publicación científica generalmente no es eficiente para corregir la literatura después de que se identifican los errores. Incluso ante un gran esfuerzo de la comunidad para detectar problemas en las publicaciones, la tasa de éxito en la obtención de correcciones o retractaciones es baja, y está marcada por la ausencia de cooperación por parte de los periódicos (40,41). Además, el hecho de que las réplicas posteriores de un artículo no sean fácilmente rastreables significa que, incluso cuando la literatura contradice un artículo, esta información no está necesariamente disponible para sus lectores (42).

Propuestas y soluciones

Descripción sistemática de métodos y resultados

Como se describió anteriormente, la reproducibilidad pasa inicialmente sin la capacidad de repetir los mismos procedimientos experimentales o analíticos (1,3). Con esto, promueve el inicio con una adecuada y completa descripción de dos métodos y resultados. Hay muchas pautas disponibles para informar diferentes tipos de estudios (43) y esta guía incluye un capítulo dedicado específicamente a este tema.

Por otro lado, investigaciones recientes indican que la recomendación de guías por parte de los periódicos no parece ser suficiente para la descripción de métodos y resultados por dos autores (44). Además, es un hecho que la adherencia a las pautas narrativas no se encuentra necesariamente entre las más altas prioridades de los revisores (39). Así, asegurar la atención para poder exigir una actitud más proactiva a los editores, mediante el uso de checklists (45,46) o revisores especializados (47).

Disponibilidad de datos y materiales

La reproducibilidad también se puede promover mediante la transparencia en la disponibilidad de datos e instrumentos de investigación. Además, algunas revistas y agencias de desarrollo exigen el intercambio de datos no tratados, lo que no es una garantía de que estos datos serán encontrados, accesibles, interoperables y reutilizados (48,49) como se especifica en las pautas de gestión (50). Asegurar que no se trata solo de tener políticas que tengan sentido, sino también de controlar la calidad de los dos datos y facilitar su estructura a través de repositorios especializados (51).

 En 2015, se creó la TOP Guidelines (52), un conjunto de pautas para estimular a los periódicos a implementar medidas que aumenten la transparencia de las investigaciones publicadas. De manera intencionada, abrir 8 dimensiones diferentes de transparencia (cotizaciones, datos, código, materiales, diseño/análisis, prerregistro de estudios, prerregistro de análisis y replicaciones), proponiendo niveles crecientes de implementación de intervenciones para estimular cada una de ellas. Como complemento, las pautas para el origen de un sistema de evaluación de periódicos en función del nivel de formación de cada práctica (53).

Énfasis en la metodología más que en el impacto

Otra propuesta a nivel de revistas es que los criterios de publicación se basen únicamente en la evaluación metodológica de los estudios, sin tener en cuenta la originalidad y potencial impacto de los resultados. En este sentido, la apertura de espacios dedicados a la publicación de réplicas de hallazgos previos puede tener un impacto significativo en la confirmación de los resultados en la literatura (54). Una posibilidad interesante es que las revistas puedan solicitar la replicación de hallazgos importantes publicados en un área (55) o requerir experimentos confirmatorios independientes para la publicación de algunos tipos de estudios (56). Idealmente, las réplicas deben seguir una metodología confirmatoria, con protocolos prerregistrados y alto poder estadístico.

Con este cambio en la evaluación, se espera que la solidez de los resultados se convierta en el foco principal de los investigadores. Algunas revistas han colocado esto como una misión explícita (57), con formularios estandarizados para orientar a los revisores a orientar sus opiniones al respecto. Dicho esto, el uso ubicuo de métricas relacionadas con el número de citas actúa como un fuerte estímulo para que el “impacto potencial” de un artículo termine siendo un criterio de selección editorial en la mayoría de las revistas, lo que ha llevado a la recomendación de que este tipo de métrica no se enfatize en las revistas ni se utilize en la evaluación de los científicos (58).

Registro de protocolos y Registered Reports

Como paso adicional para desvincular la evaluación de la investigación de sus resultados, algunas revistas han implementado el modelo de Informes Registrados, donde el protocolo de estudio, que contiene una descripción detallada de los métodos, se envía para revisión por pares antes de la recolección y análisis de datos (59– 61). En este formato, los autores pueden recibir correcciones y sugerencias antes de realizar el estudio, aumentando la probabilidad de beneficios concretos. Además, la práctica ayuda a contener tanto el sesgo de publicación como la flexibilidad en el análisis, al evitar que los métodos de análisis se definan con base en los datos obtenidos (18,62,63). Una vez finalizado el trabajo, es nuevamente evaluado por los revisores, quienes deben tener en cuenta la adherencia a la metodología previamente aprobada y no los resultados obtenidos para su aceptación.

Hay otras formas de mitigar el problema de la flexibilidad del análisis que no implican cambios en el sistema de revisión por pares. El prerregistro de protocolos de estudio por parte de los autores también funciona como una forma de aumentar la reproducibilidad, al permitir una distinción entre análisis confirmatorios y exploratorios (62,63). Este procedimiento ha sido adoptado en áreas específicas de investigación, como los ensayos clínicos, con resultados prometedores (64), y puede llevarse a cabo en varias plataformas especializadas, como el Registro Brasileiro de Ensaios Clinícos (Registro Brasileño de Ensayos Clínicos) (65), o genéricas, como el Open Science Framework (66,67). Así, la recomendación o solicitud de prerregistro del protocolo por parte de las revistas también puede ser una alternativa para incrementar la reproducibilidad de los estudios publicados (68).

Transparencia en la corrección de la literatura

A pesar de las dificultades mencionadas anteriormente con respecto a la corrección de la literatura, el escenario puede ser diferente cuando las iniciativas de corrección provienen de la propia revista. En 2018, la revista Molecular and Cellular Biology realizó un estudio para identificar imágenes problemáticas en sus publicaciones, resultando en la corrección del 78% de los errores encontrados (69). Sin embargo, cuando se implementó después de la publicación, el proceso generó aproximadamente 12 veces más tiempo de trabajo para el equipo involucrado que cuando se realizó durante el envío (69). Otras experiencias de revistas específicas en este sentido incluyen la verificación sistemática de imágenes (70) y la reproducibilidad del análisis (71) durante el proceso de envío y revisión por pares.

Incluso si se toman estas medidas, es inevitable que algunos artículos con datos erróneos o falsos acaben pasando por el filtro de la revisión por pares, que se sabe que es vulnerable a este tipo de situaciones (30,72). Por lo tanto, también es importante que las revistas y los autores trabajen rápidamente para corregir la literatura cuando sea necesario. Cuando se producen correcciones y retractaciones, es fundamental que se les expliquen sus razones de forma transparente, lo que ocurre con mayor frecuencia (73). También es importante que estos no generen un estigma para los investigadores involucrados, con el fin de incentivar que las iniciativas de corrección provengan de los propios autores cuando existan dudas sobre la reproducibilidad de los resultados publicados (74,75).

Soporte para nuevas formas de publicación

Aún en un contexto de búsqueda de mayor transparencia, agilidad y accesibilidad de la ciencia publicada, el uso de preprints se ha convertido en una práctica cada vez más utilizada en la investigación biomédica (76–79). Los preprints aceleran el avance del conocimiento al eliminar obstáculos a la llegada de un hallazgo en la literatura científica, además de representar una forma de acceso abierto a bajo costo en comparación con las revistas tradicionales. Actualmente, existen varias plataformas con diferentes modos de funcionamiento y alcance (76,80). Algunos de ellos, como bioRxiv, han demostrado éxito en la integración del flujo de publicación de preprints y envío de revistas para revisión por pares (81), en un modelo que ha sido seguido por otras plataformas como medRxiv (82) y preprints de SciELO (83).

Durante los primeros meses de la pandemia de COVID-19, la importancia de la velocidad en la difusión del conocimiento fue aún más evidente, reforzando el papel de los preprints en este escenario (84-86). Todavía existen preocupaciones válidas sobre los posibles riesgos del uso de preprints, especialmente en lo que respecta al acceso de audiencias no especializadas (87,88). Dicho esto, la evidencia disponible sugiere que las diferencias entre los preprints y los artículos publicados son con frecuencia pequeñas, lo que respalda la idea de que ambos deben considerarse contribuciones científicas válidas (31,32). Además, considerando el contexto social y tecnológico actual, oponerse al acceso libre, inmediato e ilimitado al conocimiento científico no parece ser una alternativa aceptable (89,90).

Conclusiones

Si bien hemos abordado varias propuestas de cambios en el sistema de publicación científica para mejorar la reproducibilidad, muchas de ellas aún se basan en evidencia anecdótica y su efectividad no ha sido probada empíricamente. Por lo tanto, parte de la búsqueda de sistemas de control de calidad más efectivos y eficientes en la investigación debe involucrar la prueba experimental de diferentes enfoques. Existen numerosas preguntas abiertas y, para dar respuesta a ellas, es fundamental la participación de las revistas, ya sea abriendo datos sobre el proceso de revisión o realizando estudios para evaluar la efectividad de intervenciones específicas (28,91).

Finalmente, cabe señalar que, si bien las revistas científicas tienen un papel que desempeñar en la búsqueda de una ciencia más reproducible, esta tarea trasciende el alcance del sistema de publicación. En última instancia, desarrollar un sistema de control de calidad eficaz en la investigación académica implica crear instancias de revisión y corrección a lo largo del proceso, no solo al final. Al mismo tiempo, es fundamental que los incentivos que las instituciones y agencias de desarrollo brindan a los investigadores valoren la transparencia y el rigor como objetivos centrales. Así, el tema de la reproducibilidad solo se resolverá mediante transformaciones en múltiples instancias, idealmente asociadas a la investigación empírica sobre la efectividad de las diversas soluciones propuestas al problema.

Referencias

  1. Goodman SN, Fanelli D, Ioannidis JPA. What does research reproducibility mean? Sci Transl Med. 2016;8(341):1–6.
  2. Nosek BA, Errington TM. What is replication? PLOS Biol. 2020;18(3):e3000691. Disponible en:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/32218571/>
  3. National Academies of Sciences Engineering and Medicine. Reproducibility and Replicability in Science. National Academies Press; 2019.
  4. Ioannidis JPA. Contradicted and Initially Stronger Effects in Highly Cited Clinical Research. JAMA. 2005;294(2):218. Disponible en: <https://jamanetwork.com/journals/jama/fullarticle/10.1001/jama.294.2.218>
  5. Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? Nat Rev Drug Discov. 2011;10(9):712. Disponible en: <https://doi.org/10.1038/nrd3439-c1>
  6. Begley CG, Ellis LM. Drug development: Raise standards for preclinical cancer research. Nature. 2012;483(7391):531–3. Disponible en: <https://doi.org/10.1038/483531a>
  7. Pashler H, Wagenmakers E-J. Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? Perspect Psychol Sci. 2012;7(6):528–30. Disponible en:<https://journals.sagepub.com/doi/10.1177/1745691612465253?url_ver=Z39.88-2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%20%200pubmed>
  8. Nosek BA, Hardwicke TE, Moshontz H, Allard A, Corker KS, Almenberg AD, et al. Replicability, Robustness, and Reproducibility in Psychological Science. PsyArXiv. 2021.
  9. Open Science Collaboration. PSYCHOLOGY. Estimating the reproducibility of psychological science. Science. 2015;349(6251):aac4716.
  10. Klein RA, Ratliff KA, Vianello M, Adams RB, Bahník Š, Bernstein MJ, et al. Investigating variation in replicability: A “many labs” replication project. Soc Psychol (Gott). 2014;45(3):142–52.
  11. Camerer CF, Dreber A, Forsell E, Ho T-H, Huber J, Johannesson M, et al. Evaluating replicability of laboratory experiments in economics. Science. 2016;351(6280):1433–6.
  12. Cova F, Strickland B, Abatista A, Allard A, Andow J, Attie M, et al. Estimating the Reproducibility of Experimental Philosophy. Rev Philos Psychol. 2018;1–36.
  13. Klein RA, Vianello M, Hasselman F, Adams BG, Adams RB, Alper S, et al. Many Labs 2: Investigating Variation in Replicability Across Samples and Settings. Adv Methods Pract Psychol Sci. 2018;1(4):443–90.
  14. Smaldino PE, McElreath R. The natural selection of bad science. R Soc Open Sci. 2016;3(9):160384. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/27703703/>
  15. Munafò MR, Nosek BA, Bishop DVM, Button KS, Chambers CD, Percie du Sert N, et al. A manifesto for reproducible science. Nat Hum Behav. 2017;1(1):0021. Disponible en:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/33954258/>
  16. Ioannidis JPA. Why most published research findings are false. PLOS Med. 2005;2(8):0696–701.
  17. Marder E, Kettenmann H, Grillner S. Impacting our young. Proc Natl Acad Sci U S A. 2010; 107:21233. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/21098264/
  18. Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychol Sci. 2011;22(11):1359–66. Disponible en: <https://journals.sagepub.com/doi/10.1177/0956797611417632?url_ver=Z39.88-2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%20%200pubmed>
  19. John LK, Loewenstein G, Prelec D. Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychol Sci. 2012;23(5):524–32.
  20. Rosenthal R. The file drawer problem and tolerance for null results. Psychol Bull. 1979;86(3):638–41.
  21. Fanelli D, Costas R, Ioannidis JPA. Meta-assessment of bias in science. Proc Natl Acad Sci U S A. 2017;114(14):3714–9. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/28320937/>
  22. Dickersin K, Chalmers I. Recognizing, investigating and dealingwith incomplete and biased reporting of clinical research: From Francis Bacon to the WHO. J R Soc Med. 2011;104(12):532–8. Disponible en:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/22179297/>
  23. Fanelli D. Negative results are disappearing from most disciplines and countries. Scientometrics. 2012;90(3):891–904.
  24. Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy. N Engl J Med. 2008;358(3):252–60. Disponible en: <https://www.nejm.org/doi/10.1056/NEJMsa065779?url_ver=Z39.88-2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%20%200www.ncbi.nlm.nih.gov>
  25. Dickersin K, Min YI, Meinert CL. Factors Influencing Publication of Research Results: Follow-up of Applications Submitted to Two Institutional Review Boards. JAMA. 1992;267(3):374–8.
  26. Baker M. 1,500 scientists lift the lid on reproducibility. Nature. 2016;533:452–4. Disponible en:<https://doi.org/10.1038/533452a>
  27. Sense About Science. Quality, trust & peer review: researchers’ perspectives 10 years on. 2019.
  28. Tennant JP, Ross-Hellauer T. The limitations to our understanding of peer review. Res Integr Peer Rev. 2020;5(1):6. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/32368354/>
  29. Jefferson T, Rudin M, Brodney Folse S, Davidoff F. Editorial peer review for improving the quality of reports of biomedical studies. Cochrane Database Syst Rev. 2007;(2):MR000016. Disponible en:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/17443635/>
  30. Schroter S, Black N, Evans S, Godlee F, Osorio L, Smith R. What errors do peer reviewers detect, and does training improve their ability to detect them? J R Soc Med. 2008;101(10):507–14. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/18840867/>
  31. Carneiro CFD, Queiroz VGS, Moulin TC, Carvalho CAM, Haas CB, Rayêe D, et al. Comparing quality of reporting between preprints and peer-reviewed articles in the biomedical literature. Res Integr Peer Rev. 2020;5(1):16. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/33292815/>
  32. Klein M, Broadwell P, Farb SE, Grappone T. Comparing published scientific journal articles to their pre-print versions. Int J Digit Libr. 2018;1–16.
  33. Goodman SN, Berlin J, Fletcher SW, Fletcher RH. Manuscript quality before and after peer review and editing at Annals of Internal Medicine. Ann Intern Med. 1994;121(1):11–21.
  34. Pierie J-PE, Walvoort HC, Overbeke AJP. Readers’ evaluation of effect of peer review and editing on quality of articles in the Nederlands Tijdschrift voor Geneeskunde. Lancet. 1996;348(9040):1480–3.
  35. Ioannidis JPA, Tatsioni A, Karassa FB. Who is afraid of reviewers’ comments? Or, why anything can be published and anything can be cited. Eur J Clin Invest. 2010;40(4):285–7. Disponible en:<https://doi.org/10.1111/j.1365-2362.2010.02272.x>
  36. Bornmann L, Mutz R, Daniel H-D. A Reliability-Generalization Study of Journal Peer Reviews: A Multilevel Meta-Analysis of Inter-Rater Reliability and Its Determinants. Rogers S, editor. PLOS One. 2010;5(12):e14331. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/21179459/>
  37. Cole S, Cole JR, Simon GA. Chance and Consensus in Peer Review. Science. 1981;214:881–6.
  38. Pier EL, Brauer M, Filut A, Kaatz A, Raclaw J, Nathan MJ, et al. Low agreement among reviewers evaluating the same NIH grant applications. Proc Natl Acad Sci U S A. 2018;115(12):2952–7. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/29507248/>
  39. Glonti K, Cauchi D, Cobo E, Boutron I, Moher D, Hren D. A scoping review on the roles and tasks of peer reviewers in the manuscript review process in biomedical journals. BMC Med. 2019;17(1):118. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/31217033/>
  40. Allison DB, Brown AW, George BJ, Kaiser KA. Reproducibility: A tragedy of errors. Nature. 2016;530:27–9. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/26842041/>
  41. Casadevall A, Steen RG, Fang FC. Sources of error in the retracted scientific literature. FASEB J. 2014;28(9):3847–55. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/24928194/>
  42. Hartshorne JK, Schachner A. Tracking Replicability as a Method of Post-Publication Open Evaluation. Front Comput Neurosci. 2012;6:8. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/22403538/>
  43. Equator Network. EQUATOR NETWORK website [Internet]. [cited 2019 Jan 3]. Available from: https://www.equator-network.org/
  44. Stevens A, Shamseer L, Weinstein E, Yazdi F, Turner L, Thielman J, et al. Relation of completeness of reporting of health research to journals’ endorsement of reporting guidelines: Systematic review. BMJ. 2014;348. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/24965222/>
  45. Hair K, Macleod MR, Sena ES. A randomised controlled trial of an Intervention to Improve Compliance with the ARRIVE guidelines (IICARus). Res Integr Peer Rev. 2019;4(1):12. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/31205756/>
  46. The NPQIP Collaborative group. Did a change in Nature journals’ editorial policy for life sciences research improve reporting? BMJ Open Sci. 2019;3(1):e000035. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/35047682/>
  47. Cobo E, Selva-O’Callagham A, Ribera J-M, Cardellach F, Dominguez R, Vilardell M. Statistical Reviewers Improve Reporting in Biomedical Articles: A Randomized Trial. Scherer R, editor. PLOS One. 2007;2(3):e332. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/17389922/>
  48. Hardwicke TE, Mathur MB, MacDonald K, Nilsonne G, Banks GC, Kidwell MC, et al. Data availability, reusability, and analytic reproducibility: evaluating the impact of a mandatory open data policy at the journal Cognition. R Soc Open Sci. 2018;5(8):180448. Disponible en:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/30225032/>
  49. Stodden V, Seiler J, Ma Z. An empirical analysis of journal policy effectiveness for computational reproducibility. Proc Natl Acad Sci U S A. 2018;115(11):2584–9. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/29531050/>
  50. Wilkinson MD, Dumontier M, Aalbersberg IjJ, Appleton G, Axton M, Baak A, et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data. 2016;3(1):1–9.
  51. re3data.org – Registry of Research Data Repositories [Internet]. [cited 2021 Feb 24]. Available from: https://doi.org/10.17616/R3D
  52. Nosek BA, Alter G, Banks GC, Borsboom D, Bowman SD, Breckler SJ, et al. Promoting an open research culture. Science. 2015;348(6242):1422–5. Disponible en: <https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/26113702/>
  53. Center for Open Science. New Measure Rates Quality of Research Journals’ Policies to Promote Transparency and Reproducibility [Internet]. 2020 [cited 2021 Feb 5]. Available from: https://www.cos.io/about/news/new-measure-rates-quality-research-journals-policies-promote-transparency-and-reproducibility
  54. Moonesinghe R, Khoury MJ, Janssens ACJW. Most Published Research Findings Are False—But a Little Replication Goes a Long Way. PLOS Med. 2007;4(2):e28. Disponible en:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/17326704/>
  55. Wagenmakers EJ, Forstmann BU. Rewarding high-power replication research. Cortex. 2014;51:105–6.
  56. Mogil JS, Macleod MR. No publication without confirmation. Nature. 2017;542:409–11. Disponible en: <https://doi.org/10.1038/542409a>
  57. MacCallum CJ. ONE for All: The Next Step for PLoS. PLOS Biol. 2006;4(11):e401. Disponible en:<https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/17523266/>
  58. San Francisco Declaration on Research Assessment [Internet]. 2012. [cited 2021 Feb 25]. Available from: https://sfdora.org/read/
  59. Hardwicke TE, Ioannidis JPA. Mapping the universe of registered reports. Nature Human Behaviour. 2018;2:793–6.
  60. Chambers C. What’s next for Registered Reports? Nature. 2019;573:187–9. Disponible en:<https://doi.org/10.1038/d41586-019-02674-6>
  61. Center for Open Science. Registered Reports [Internet]. [cited 2021 Feb 25]. Available from: https://www.cos.io/initiatives/registered-reports
  62. Nosek BA, Ebersole CR, DeHaven AC, Mellor DT. The preregistration revolution. Proc Natl Acad Sci U S A. 2018;115(11):2600–6. Disponible en: <https://doi.org/10.1073/pnas.1708274114>
  63. Gelman A, Loken E. The statistical Crisis in science. Am Sci. 2014;102(6):460–5.
  64. Kaplan RM, Irvin VL. Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time. Garattini S, editor. PLOS One. 2015;10(8):e0132382. Disponible en: <https://doi.org/10.1371/journal.pone.0132382>
  65. ReBEC – Registro Brasileiro de Ensaios Clínicos [Internet]. [cited 2021 Feb 25]. Available from: https://ensaiosclinicos.gov.br/
  66. Mellor DT. Templates of OSF Registration Forms [Internet]. Open Science Framework. 2021 [cited 2021 Feb 25]. Available from: https://osf.io/zab38/wiki/home/
  67. World Health Organization. Primary registries in the WHO registry network [Internet]. [cited 2021 Feb 25]. Available from: https://www.who.int/clinical-trials-registry-platform/network/primary-registries
  68. De Angelis C, Drazen JM, Frizelle FA, Haug C, Hoey J, Horton R, et al. Clinical trial registration: A statement from the International Committee of Medical Journal Editors. CMAJ. 2004;171:606–7.
  69. Bik EM, Fang FC, Kullas AL, Davis RJ, Casadevall A. Analysis and Correction of Inappropriate Image Duplication: the Molecular and Cellular Biology Experience . Mol Cell Biol. 2018;38(20).Disponible en: <https://doi.org/10.1128/mcb.00309-18>
  70. Pearson H. CSI: Cell biology. Nature. 2005;434:952–3. Disponible en: <https://doi.org/10.1038/434952a>
  71. AJPS Verification Policy [Internet]. American Journal of Political Science. [cited 2021 Feb 25]. Available from: https://ajps.org/ajps-verification-policy/
  72. Heathers J. The Lancet has made one of the biggest retractions in modern history. How could this happen? The Guardian [Internet]. 2020 [cited 2021 Feb 24]; Available from: https://www.theguardian.com/commentisfree/2020/jun/05/lancet-had-to-do-one-of-the-biggest-retractions-in-modern-history-how-could-this-happen
  73. Deculllier E, Maisonneuve H. Correcting the literature: Improvement trends seen in contents of retraction notices. BMC Res Notes. 2018;11(1):490. Disponible en: <https://doi.org/10.1186/s13104-018-3576-2>
  74. Rohrer JM, Tierney W, Uhlmann EL, DeBruine LM, Heyman T, Jones B, et al. Putting the Self in Self-Correction: Findings from the Loss-of-Confidence Project. PsyArXiv. 2020.
  75. Bishop DVM. Fallibility in Science: Responding to Errors in the Work of Oneself and Others. Adv Methods Pract Psychol Sci. 2018;1(3):432–8.
  76. Kirkham JJ, Penfold NC, Murphy F, Boutron I, Ioannidis JP, Polka J, et al. Systematic examination of preprint platforms for use in the medical and biomedical sciences setting. BMJ Open. 2020;10(12):e041849. Disponible en: <https://doi.org/10.1136/bmjopen-2020-041849>
  77. Kaiser J. The preprint dilemma. Science. 2017;357:1344–9. Disponible en:<https://www.science.org/doi/10.1126/science.357.6358.1344?url_ver=Z39.88-2003&rfr_id=ori:rid:crossref.org&rfr_dat=cr_pub%20%200pubmed>
  78. Biology preprints over time [Internet]. ASAPbio blog. 2020 [cited 2021 Feb 25]. Available from: https://asapbio.org/preprint-info/biology-preprints-over-time
  79. Abdill RJ, Blekhman R. Meta-research: Tracking the popularity and outcomes of all bioRxiv preprints. eLife. 2019;8:e45133. Disponible en: <https://doi.org/10.7554/elife.45133>
  80. Malički M, Jerončić A, Ter Riet G, Bouter LM, Ioannidis JPA, Goodman SN, et al. Preprint Servers’ Policies, Submission Requirements, and Transparency in Reporting and Research Integrity Recommendations. JAMA. 2020; 324:1901–3. Disponible en: <https://doi.org/10.1001/jama.2020.17195>
  81. Sever R, Roeder T, Hindle S, Sussman L, Black K-J, Argentine J, et al. bioRxiv: the preprint server fot biology. bioRxiv. 2019.
  82. Kaiser J. Medical preprint server debuts. Science. 2019.
  83. SCIENTIFIC ELECTRONIC LIBRARY ONLINE. SciELO Preprints em operação [Internet]. SciELO em Perspectiva. 2020 [cited 2021 Feb 5]. Available from: https://blog.scielo.org/blog/2020/04/07/scielo-preprints-em-operacao/#.YB2aInlv_IU
  84. Else H. How a torrent of COVID science changed research publishing – in seven charts. Nature. 2020;588:p. 553. Disponible en: <https://doi.org/10.1038/d41586-020-03564-y>
  85. Oransky I, Marcus A. Quick retraction of coronavirus paper was good moment for science [Internet]. 2020 [cited 2021 Jan 20]. Available from: https://www.statnews.com/2020/02/03/retraction-faulty-coronavirus-paper-good-moment-for-science/
  86. Fraser N, Brierley L, Dey G, Polka J, Pálfy M, Nanni F, et al. Preprinting the COVID-19 pandemic. bioRxiv. 2020.
  87. Anderson R. Journalism, Preprint Servers, and the Truth: Allocating Accountability [Internet]. The Scholarly Kitchen. 2020 [cited 2021 Feb 5]. Available from: https://scholarlykitchen.sspnet.org/2020/12/14/journalism-preprint-servers-and-the-truth-allocating-accountability/
  88. Saitz R, Schwitzer G. Communicating Science in the Time of a Pandemic. JAMA. 2020; 324:443–4. Disponible en: <https://doi.org/10.1001/jama.2020.12535>
  89. Cobb M. The prehistory of biology preprints: A forgotten experiment from the 1960s. PLOS Biol. 2017;15(11):e2003995. Disponible en: <https://doi.org/10.1371/journal.pbio.2003995>
  90. Penfold NC, Polka JK. Technical and social issues influencing the adoption of preprints in the life sciences. Shafee T, editor. PLOS Genet. 2020;16(4):e1008565. Disponible en:<https://doi.org/10.1371/journal.pgen.1008565>
  91. Schroter S, Loder E, Godlee F. Research on peer review and biomedical publication. The BMJ. 2020:368. Disponible en: <https://doi.org/10.1136/bmj.m661>

 

Licencia Creative Commons
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional.

Was this page helpful?
Yes No