Una prepublicación pendiente de revisión analiza trabajos publicados sobre la eficacia de medidas de salud pública como los confinamientos domiciliarios, la distancia social y el uso de mascarillas. Su conclusión es que estos carecen de una calidad que permita extraer conclusiones, pero esto no implica que no funcionen. En este contexto, el ojo experto de los epidemiólogos es más importante que nunca.
Desde el comienzo de la pandemia hemos intentado combatir la covid-19 con medidas como confinamientos domiciliarios, mascarillas y cierre de colegios. Pero, ¿sabemos cuánto ayudan en la lucha contra el coronavirus? Una reciente prepublicación concluye que la literatura hasta ahora dedicada a analizar el impacto de este tipo de políticas no es capaz de dar una respuesta fiable a esa pregunta. Los autores defienden que necesitamos mejores revisiones, pero también aceptar que, en ocasiones, es imposible obtener las evidencias que desearíamos.
“Encontramos que la literatura publicada que intenta evaluar el impacto de políticas concretas contra la covid-19 es incapaz de hacerlo”, explica a SINC el investigador de la Universidad de Stanford y coautor del trabajo Noah Haber. “Esto no quiere decir en absoluto que estas medidas fueran inefectivas, sino que las circunstancias no nos permiten medirlas bien”, remarca.
Por desgracia, llevar a cabo estudios bien diseñados que permitan evaluar el impacto que tienen las mascarillas y el distanciamiento social no es tan sencillo como saber si una vacuna funciona. La dificultad radica, según Haber, en que “hay demasiadas cosas que pasan al mismo tiempo” y eso impide “aislar el impacto de una política concreta”. A esto hay que sumar las “complicadas” dinámicas de las enfermedades infecciosas.
Los autores del trabajo analizaron 36 estudios, revisados y publicados en revistas como Nature, JAMA, BMJ, PLoS ONE y PNAS, cuyo objetivo era evaluar el impacto cuantitativo de diferentes políticas de salud. Tras seleccionarlos, los enviaron a tres revisores independientes que debían identificar problemas en su diseño y determinar la utilidad de las conclusiones.
Los revisores llegaron a la conclusión de que solo cuatro estudios eran “plausiblemente apropiados” de cara a identificar el impacto que habían tenido las políticas de salud sobre la covid-19. El motivo más común de suspenso fue no tener en cuenta cambios que tuvieron lugar al mismo tiempo que estas medidas, tanto políticos como sociales.
Haber considera que el problema va más allá de los 36 estudios analizados, pero matiza las implicaciones de sus resultados. “Podemos decir que la literatura que rodea a este tema es defectuosa, pero eso no significa necesariamente que nuestra comprensión de estas políticas sea pobre”.
Esto es debido a que el conocimiento sobre la utilidad de estas medidas va más allá de su cuantificación directa. “Algunas de las investigaciones que no revisamos pueden ser informativas”, dice Haber. “Además, los decisores tienen muchas evidencias secundarias, así como experiencia con otras epidemias y políticas con las que trabajar”.
“Probablemente nunca sabremos con precisión cuán efectivas fueron las políticas individuales aplicadas en primavera de 2020”, comenta Haber. Sin embargo, eso no significa que los epidemiólogos vayan dando palos de ciego.
La experticia es la capacidad de reunir y ordenar mucha información desorganizada e imperfecta. Por eso, expertos como epidemiólogos y especialistas en políticas de salud son fundamentales para tomar decisiones, en vez de confiar en el título de un estudio
“La experticia es la capacidad de reunir y ordenar mucha información desorganizada e imperfecta”, asegura Haber. “Eso incluye entender y actualizar lo que sabemos, lo que no y, en este caso, lo que no podemos saber. Esa es una de las razones por las que expertos como epidemiólogos y especialistas en políticas de salud son fundamentales para tomar decisiones, en vez de confiar en el título de un estudio”.
La epidemióloga de la Universidad Johns Hopkins Brooke Jarrett matiza que “no es obligatorio investigar las políticas para saber que los mecanismos de una intervención funcionarán”. Por ejemplo, “desde una perspectiva biológica podemos estar seguros de que aislar a alguien durante su fase infecciosa evitará que continúe el contagio”. Cita también los experimentos de laboratorio que muestran que las mascarillas frenan la transmisión, aunque no estén hechos en condiciones reales.
La pandemia plantea muchas preguntas pero, aunque miramos a la ciencia en busca de ayuda, no todas tienen respuesta. “Hay situaciones en las que no hay forma de diseñar y producir un estudio informativo de ningún tipo y tenemos que aprender a estar cómodos con eso”, comenta Haber. Los ensayos controlados y aleatorizados son el santo grial de la evidencia científica; sin embargo, el investigador ya señaló el año pasado los enormes errores de diseño de uno de estos experimentos, que buscó despejar las dudas sobre la eficacia de las mascarillas de una vez por todas.
“A veces no podemos saber tanto como nos gustaría. Los ensayos controlados aleatorizados pueden ser increíbles, una forma de evidencia casi milagrosa, o ser completamente inútiles y engañosos”, dice Haber. “Lo mismo pasa con otros tipos de estudios: todo depende, y es difícil separar qué es útil”.
Haber mira con optimismo el futuro. “Tengo la esperanza de que seremos capaces de obtener mejores evidencias con las políticas de reapertura que con las de respuesta iniciales”, afirma. El investigador recomienda diseñarlas para que sean “más fáciles” de evaluar, pero admite que eso requerirá “invertir en colaboraciones, infraestructuras y otros recursos”.
El trabajo de Haber es una prepublicación o preprint, un trabajo que todavía no ha sido aprobado por la comunidad investigadora y cuyos resultados, por lo tanto, son preliminares y deben ser tomados con cautela. Sin embargo, sus conclusiones recuerdan que tampoco hay que caer en el error de pensar que el sello de calidad que tienen los estudios revisados es infalible.
“No deberíamos pensar en la revisión por pares como un certificado de alta robustez o calidad”, opina Haber. “Es un indicador razonable de que los editores de la revista y dos o tres revisores creen que [el trabajo] merece ser discutido entre otros investigadores, pero no indica necesariamente que merezca influir en las tomas de decisiones”.
Los problemas de la literatura sobre el coronavirus son los mismos a los que nos hemos enfrentado durante décadas. La diferencia es que ahora son más graves, más públicos y con un mayor impacto
La calidad de las investigaciones publicadas sobre la covid-19 en un año en el que la ciencia ha trabajado contrarreloj preocupa a algunos científicos. El investigador de la Universidad de Aarhus (Dinamarca) Serge Horbach publicó este año una evaluación sobre cómo ha cambiado la calidad de la revisión por pares debido a las prisas de la pandemia. En esta concluyó que los revisores utilizan una vara de medir distinta en aquellos trabajos sobre el coronavirus.
“Creo que debemos ser muy críticos con los estudios que presentan investigaciones novedosas”, explica Horbach. “Esto se aplica a todos, pero la velocidad a la que se están produciendo y diseminando aquellos relacionados con la covid-19 pide un escrutinio adicional”.
Haber defiende que los problemas que atraviesa la literatura sobre el coronavirus “son los mismos a los que nos hemos enfrentado durante décadas”. La diferencia principal, según él, es que “ahora son más graves, tienen un mayor impacto y son más públicos”.
“Para que los resultados de los estudios puedan ser usados, en políticas o en otras partes, es esencial que los científicos reconozcan las limitaciones de sus aproximaciones, en ocasiones ad hoc”, dice Horbach. “También que expliquen los contextos en los que sus descubrimientos pueden ser utilizados”.
Horbach cree que los revisores cada vez tienen esto más en cuenta. “Es responsabilidad de cada investigador y actor político evaluar críticamente los nuevos resultados cuando los usan, en vez de tomarlos al pie de la letra”. En este sentido, considera “prometedor” el mayor escrutinio público de los artículos científicos a través de redes sociales y plataformas como Pubpeer.
¿Significa todo esto que se avecina una crisis de reproducibilidad en la ciencia de la covid-19? Horbach cree que es demasiado pronto para juzgar: “El tiempo dirá hasta qué punto el deseo de producir conocimiento nuevo con rapidez ha afectado a la calidad de la investigación. Algunos artículos y prepublicaciones con descubrimientos defectuosos serán retractados en el futuro, pero no todos”. Esto, insiste, “enfatiza la necesidad de mantener una actidud crítica y escéptica”.
Haber, por su parte, espera que la “luz nueva” que arroja la pandemia sobre “problemas viejos” sea suficiente para reformar aquellos ámbitos que lo necesitan, desde investigadores y periodistas a organismos de financiación y revistas.
El Ministerio de Sanidad y el Centro Nacional de Epidemiología del Instituto de Salud Carlos III han revelado una tendencia positiva en la disminución de nuevos casos de VIH desde 2013. Sin embargo, casi la mitad de los diagnósticos siguen realizándose en etapas avanzadas, lo que plantea un desafío significativo.
La emergencia climática actual conlleva una crisis sanitaria global. José María Martín-Moreno, doctor en Medicina y en Salud Pública por la Universidad de Harvard, explica cómo se está abordando esta crisis en las zonas afectadas por la DANA y los protocolos y campañas de prevención que hay que poner en marcha.
