Un trabajo publicado en la revista Science Advances concluye que los artículos de sociología, economía y psicología cuyos resultados no son replicables tienden a ser más citados. Sus autores teorizan que esto es debido a que son más atractivos, pero también a que las evidencias pioneras corren ese riesgo.
Publicar un paper científico se parece mucho a compartir una receta nueva: el objetivo es informar de la existencia de un nuevo bizcocho, pero también explicar a otros cómo prepararlo en sus casas. En lenguaje técnico, esto significa que la ciencia debe ser reproducible y repetible. En teoría, otros investigadores deberían ser capaces de replicar los resultados de cualquier experimento a partir de sus propios datos. Por desgracia, esto es menos frecuente de lo que sería deseable.
La llamada “crisis de replicabilidad” hace referencia a la pandemia de estudios no replicables que asola campos como la psicología, la economía y la medicina. Desde hace más de una década que se estudian sus causas, entre las que se encuentra la precipitación a la hora de compartir datos por culpa de la presión por publicar.
Un nuevo estudio publicado en la revista Science Advances ha analizado esta cuestión con un nuevo enfoque. La relevancia de los papers se mide en el número de veces que son citados en trabajos futuros, algo que depende de la importancia de sus resultados pero también de su carácter pionero. Los autores, dos economistas de la Universidad de California en San Diego (EE UU), se preguntaron si los estudios que no se pueden replicar son más o menos citados que el resto.
Para calcularlo, analizaron 80 estudios procedentes de tres proyectos que han intentado replicar descubrimientos de psicología, economía y ciencias sociales publicadas en Science y Nature con una tasa de éxito dispar, de entre el 40 y el 60 %.
“Encontramos que los estudios que no se pueden replicar son más citados que los que sí”, explica a SINC la coautora del trabajo, Marta Serra. La diferencia era considerable: los papers que se podían replicar se citaron 153 veces menos. Por el contrario, aquellos que no se habían podido replicar tenían en Google Scholar una media de 16 citas extra al año.
Los investigadores también encontraron que solo el 12 % de las citas especificaba que esos trabajos no habían podido ser replicados con éxito. “La gente ha oído hablar de la crisis de replicabilidad, pero saber qué estudios son exactamente requiere indagar en los papers en detalle”, añade Serra. Además, cada estudio cita muchos otros y, en la mayoría de ocasiones, ninguno de ellos ha formado parte de los grandes proyectos de replicación.
El hecho de que un estudio no se pueda replicar no implica que sus conclusiones sean erróneas, pero tampoco deja en buen lugar al afán de la ciencia por buscar la exactitud. Por ejemplo, una prepublicación pendiente de revisión por pares halló que los papers más citados se basan en datos más débiles.
Pero, ¿a qué se debe esta relación entre replicabilidad y citas? Serra teoriza que los estudios que no se pueden replicar “son más interesantes”. Los revisores y editores de las revistas basan la decisión de publicar en una balanza que tiene en cuenta la robustez de la evidencia presentada, pero también el interés y novedad del trabajo.
En algunos casos lo nuevo o interesante que es un estudio tiene prioridad y esos artículos son publicados en revistas de alto nivel
“En algunos casos lo nuevo o interesante que es un estudio tiene prioridad y esos artículos son publicados en revistas de alto nivel”, añade Serra. Atraer la atención de los académicos de campos similares a pensar en una tesis nueva e interesante y trabajar en esa dirección también se valora.
En este sentido, los expertos parecen ser capaces de predecir qué estudios podrán ser replicados antes de que se produzca el intento. En los mercados de replicabilidad otros investigadores apuestan al respecto y, según el análisis de Serra, con bastante éxito. La economista cree que esto puede deberse a que estos trabajos contienen ideas nuevas: esto hace que los revisores tengan estándares diferentes para aceptarlos, pero también supone una señal de advertencia para el resto de los académicos.
Serra considera que la “originalidad de una idea importante” debería “ser premiada con una publicación en una revista de alto impacto”, pero cree que debería advertirse de si estamos ante evidencias primerizas. “Así se atraería la atención y generarían más investigación, pero se haría énfasis en que todavía no se sabe cómo de robusto es el resultado”.
“También ayudaría poder saber con más facilidad qué resultados han sido replicados”, comenta Serra. Por eso opina que sería muy útil contar con una plataforma que “agregara los resultados de las replicaciones”, para que quienes citan estudios puedan encontrarlas con facilidad.
“Como investigadores deberíamos ir con cuidado porque puede que estos estudios [muy citados] no sean replicables”, advierte Serra. Considera que sería interesante extender los esfuerzos por replicar trabajos a otros campos más allá de las ciencias sociales, donde “el número de papers que se ha intentado replicar es menor”. Quizá por eso un estudio publicado en 2020 en la revista PNAS no halló conexión alguna entre la replicabilidad y el número de citas.
El Gordo de la Lotería de Navidad reparte alegrías y desencantos cada 22 de diciembre. A pesar de la baja probabilidad de ganar, varios estudios analizan los impactos que estos cuantiosos premios tienen en las regiones afortunadas, más allá de los propios ganadores.
Este tipo de violencia implica conductas dirigidas a mujeres por parte de uno o varios hombres desconocidos sin intención comunicativa. Tienen cariz sexual y su intención es la de degradar. Un estudio de la Universidad de Córdoba revela que el 98 % de mujeres encuestadas ha sufrido este tipo acoso en algún momento a lo largo de su vida.
