La ciencia floja que daña el análisis de la pandemia

Desde el comienzo de la pandemia hemos intentado combatir la covid-19 con medidas como confinamientos domiciliarios, mascarillas y cierre de colegios. Pero, ¿sabemos cuánto ayudan en la lucha contra el coronavirus? Una reciente prepublicación concluye que la literatura hasta ahora dedicada a analizar el impacto de este tipo de políticas no es capaz de dar una respuesta fiable a esa pregunta. Los autores defienden que necesitamos mejores revisiones, pero también aceptar que, en ocasiones, es imposible obtener las evidencias que desearíamos.

“Encontramos que la literatura publicada que intenta evaluar el impacto de políticas concretas contra la covid-19 es incapaz de hacerlo”, explica a SINC el investigador de la Universidad de Stanford y coautor del trabajo Noah Harber. “Esto no quiere decir en absoluto que estas medidas fueran inefectivas, sino que las circunstancias no nos permiten medirlas bien”, remarca.

Por desgracia, llevar a cabo estudios bien diseñados que permitan evaluar el impacto que tienen las mascarillas y el distanciamiento social no es tan sencillo como saber si una vacuna funciona. La dificultad radica, según Harber, en que “hay demasiadas cosas que pasan al mismo tiempo” y eso impide “aislar el impacto de una política concreta”. A esto hay que sumar las “complicadas” dinámicas de las enfermedades infecciosas.

Los autores del trabajo analizaron 36 estudios, revisados y publicados en revistas como Nature, JAMA, BMJ, PLoS ONE y PNAS, cuyo objetivo era evaluar el impacto cuantitativo de diferentes políticas de salud. Tras seleccionarlos, los enviaron a tres revisores independientes que debían identificar problemas en su diseño y determinar la utilidad de las conclusiones.

Los revisores llegaron a la conclusión de que solo cuatro estudios eran “plausiblemente apropiados” de cara a identificar el impacto que habían tenido las políticas de salud sobre la covid-19. El motivo más común de suspenso fue no tener en cuenta cambios que tuvieron lugar al mismo tiempo que estas medidas, tanto políticos como sociales.

Expertos para gestionar la falta de evidencias

Harber considera que el problema va más allá de los 36 estudios analizados, pero matiza las implicaciones de sus resultados. “Podemos decir que la literatura que rodea a este tema es defectuosa, pero eso no significa necesariamente que nuestra comprensión de estas políticas sea pobre”.

Esto es debido a que el conocimiento sobre la utilidad de estas medidas va más allá de su cuantificación directa. “Algunas de las investigaciones que no revisamos pueden ser informativas”, dice Harber. “Además, los decisores tienen muchas evidencias secundarias, así como experiencia con otras epidemias y políticas con las que trabajar”.

“Probablemente nunca sabremos con precisión cuán efectivas fueron las políticas individuales aplicadas en primavera de 2020”, comenta Harber. Sin embargo, eso no significa que los epidemiólogos vayan dando palos de ciego.

“La experticia es la capacidad de reunir y ordenar mucha información desorganizada e imperfecta”, asegura Harber. “Eso incluye entender y actualizar lo que sabemos, lo que no y, en este caso, lo que no podemos saber. Esa es una de las razones por las que expertos como epidemiólogos y especialistas en políticas de salud son fundamentales para tomar decisiones, en vez de confiar en el título de un estudio”.

La epidemióloga de la Universidad Johns Hopkins Jarrett Brooke matiza que “no es obligatorio investigar las políticas para saber que los mecanismos de una intervención funcionarán”. Por ejemplo, “desde una perspectiva biológica podemos estar seguros de que aislar a alguien durante su fase infecciosa evitará que continúe el contagio”. Cita también los experimentos de laboratorio que muestran que las mascarillas frenan la transmisión, aunque no estén hechos en condiciones reales.

La pandemia plantea muchas preguntas pero, aunque miramos a la ciencia en busca de ayuda, no todas tienen respuesta. “Hay situaciones en las que no hay forma de diseñar y producir un estudio informativo de ningún tipo y tenemos que aprender a estar cómodos con eso”, comenta Harber. Los ensayos controlados y aleatorizados son el santo grial de la evidencia científica; sin embargo, el investigador ya señaló el año pasado los enormes errores de diseño de uno de estos experimentos, que buscó despejar las dudas sobre la eficacia de las mascarillas de una vez por todas.

“A veces no podemos saber tanto como nos gustaría. Los ensayos controlados aleatorizados pueden ser increíbles, una forma de evidencia casi milagrosa, o ser completamente inútiles y engañosos”, dice Harber. “Lo mismo pasa con otros tipos de estudios: todo depende, y es difícil separar qué es útil”.

Harber mira con optimismo el futuro. “Tengo la esperanza de que seremos capaces de obtener mejores evidencias con las políticas de reapertura que con las de respuesta iniciales”, afirma. El investigador recomienda diseñarlas para que sean “más fáciles” de evaluar, pero admite que eso requerirá “invertir en colaboraciones, infraestructuras y otros recursos”.

¿Una crisis de reproducibilidad Covid-19?

El trabajo de Harber es una prepublicación o preprint, un trabajo que todavía no ha sido aprobado por la comunidad investigadora y cuyos resultados, por lo tanto, son preliminares y deben ser tomados con cautela. Sin embargo, sus conclusiones recuerdan que tampoco hay que caer en el error de pensar que el sello de calidad que tienen los estudios revisados es infalible.

“No deberíamos pensar en la revisión por pares como un certificado de alta robustez o calidad”, opina Harber. “Es un indicador razonable de que los editores de la revista y dos o tres revisores creen que [el trabajo] merece ser discutido entre otros investigadores, pero no indica necesariamente que merezca influir en las tomas de decisiones”.

La calidad de las investigaciones publicadas sobre la covid-19 en un año en el que la ciencia ha trabajado contrarreloj preocupa a algunos científicos. El investigador de la Universidad de Aarhus (Dinamarca) Serge Horbach publicó este año una evaluación sobre cómo ha cambiado la calidad de la revisión por pares debido a las prisas de la pandemia. En esta concluyó que los revisores utilizan una vara de medir distinta en aquellos trabajos sobre el coronavirus.

“Creo que debemos ser muy críticos con los estudios que presentan investigaciones novedosas”, explica Horbach. “Esto se aplica a todos, pero la velocidad a la que se están produciendo y diseminando aquellos relacionados con la covid-19 pide un escrutinio adicional”.

Harber defiende que los problemas que atraviesa la literatura sobre el coronavirus “son los mismos a los que nos hemos enfrentado durante décadas”. La diferencia principal, según él, es que “ahora son más graves, tienen un mayor impacto y son más públicos”.

“Para que los resultados de los estudios puedan ser usados, en políticas o en otras partes, es esencial que los científicos reconozcan las limitaciones de sus aproximaciones, en ocasiones ad hoc”, dice Horbach. “También que expliquen los contextos en los que sus descubrimientos pueden ser utilizados”.

Horbach cree que los revisores cada vez tienen esto más en cuenta. “Es responsabilidad de cada investigador y actor político evaluar críticamente los nuevos resultados cuando los usan, en vez de tomarlos al pie de la letra”. En este sentido, considera “prometedor” el mayor escrutinio público de los artículos científicos a través de redes sociales y plataformas como Pubpeer.

¿Significa todo esto que se avecina una crisis de reproducibilidad en la ciencia de la covid-19? Horbach cree que es demasiado pronto para juzgar: “El tiempo dirá hasta qué punto el deseo de producir conocimiento nuevo con rapidez ha afectado a la calidad de la investigación. Algunos artículos y prepublicaciones con descubrimientos defectuosos serán retractados en el futuro, pero no todos”. Esto, insiste, “enfatiza la necesidad de mantener una actidud crítica y escéptica”.

Harber, por su parte, espera que la “luz nueva” que arroja la pandemia sobre “problemas viejos” sea suficiente para reformar aquellos ámbitos que lo necesitan, desde investigadores y periodistas a organismos de financiación y revistas.

Desde el comienzo de la pandemia hemos intentado combatir la covid-19 con medidas como confinamientos domiciliarios, mascarillas y cierre de colegios. Pero, ¿sabemos cuánto ayudan en la lucha contra el coronavirus? Una reciente prepublicación concluye que la literatura hasta ahora dedicada a analizar el impacto de este tipo de políticas no es capaz de dar una respuesta fiable a esa pregunta. Los autores defienden que necesitamos mejores revisiones, pero también aceptar que, en ocasiones, es imposible obtener las evidencias que desearíamos.

“Encontramos que la literatura publicada que intenta evaluar el impacto de políticas concretas contra la covid-19 es incapaz de hacerlo”, explica a SINC el investigador de la Universidad de Stanford y coautor del trabajo Noah Harber. “Esto no quiere decir en absoluto que estas medidas fueran inefectivas, sino que las circunstancias no nos permiten medirlas bien”, remarca.

Por desgracia, llevar a cabo estudios bien diseñados que permitan evaluar el impacto que tienen las mascarillas y el distanciamiento social no es tan sencillo como saber si una vacuna funciona. La dificultad radica, según Harber, en que “hay demasiadas cosas que pasan al mismo tiempo” y eso impide “aislar el impacto de una política concreta”. A esto hay que sumar las “complicadas” dinámicas de las enfermedades infecciosas.

Los autores del trabajo analizaron 36 estudios, revisados y publicados en revistas como Nature, JAMA, BMJ, PLoS ONE y PNAS, cuyo objetivo era evaluar el impacto cuantitativo de diferentes políticas de salud. Tras seleccionarlos, los enviaron a tres revisores independientes que debían identificar problemas en su diseño y determinar la utilidad de las conclusiones.

Los revisores llegaron a la conclusión de que solo cuatro estudios eran “plausiblemente apropiados” de cara a identificar el impacto que habían tenido las políticas de salud sobre la covid-19. El motivo más común de suspenso fue no tener en cuenta cambios que tuvieron lugar al mismo tiempo que estas medidas, tanto políticos como sociales.

Expertos para gestionar la falta de evidencias

Harber considera que el problema va más allá de los 36 estudios analizados, pero matiza las implicaciones de sus resultados. “Podemos decir que la literatura que rodea a este tema es defectuosa, pero eso no significa necesariamente que nuestra comprensión de estas políticas sea pobre”.

Esto es debido a que el conocimiento sobre la utilidad de estas medidas va más allá de su cuantificación directa. “Algunas de las investigaciones que no revisamos pueden ser informativas”, dice Harber. “Además, los decisores tienen muchas evidencias secundarias, así como experiencia con otras epidemias y políticas con las que trabajar”.

“Probablemente nunca sabremos con precisión cuán efectivas fueron las políticas individuales aplicadas en primavera de 2020”, comenta Harber. Sin embargo, eso no significa que los epidemiólogos vayan dando palos de ciego.

“La experticia es la capacidad de reunir y ordenar mucha información desorganizada e imperfecta”, asegura Harber. “Eso incluye entender y actualizar lo que sabemos, lo que no y, en este caso, lo que no podemos saber. Esa es una de las razones por las que expertos como epidemiólogos y especialistas en políticas de salud son fundamentales para tomar decisiones, en vez de confiar en el título de un estudio”.

La epidemióloga de la Universidad Johns Hopkins Jarrett Brooke matiza que “no es obligatorio investigar las políticas para saber que los mecanismos de una intervención funcionarán”. Por ejemplo, “desde una perspectiva biológica podemos estar seguros de que aislar a alguien durante su fase infecciosa evitará que continúe el contagio”. Cita también los experimentos de laboratorio que muestran que las mascarillas frenan la transmisión, aunque no estén hechos en condiciones reales.

La pandemia plantea muchas preguntas pero, aunque miramos a la ciencia en busca de ayuda, no todas tienen respuesta. “Hay situaciones en las que no hay forma de diseñar y producir un estudio informativo de ningún tipo y tenemos que aprender a estar cómodos con eso”, comenta Harber. Los ensayos controlados y aleatorizados son el santo grial de la evidencia científica; sin embargo, el investigador ya señaló el año pasado los enormes errores de diseño de uno de estos experimentos, que buscó despejar las dudas sobre la eficacia de las mascarillas de una vez por todas.

“A veces no podemos saber tanto como nos gustaría. Los ensayos controlados aleatorizados pueden ser increíbles, una forma de evidencia casi milagrosa, o ser completamente inútiles y engañosos”, dice Harber. “Lo mismo pasa con otros tipos de estudios: todo depende, y es difícil separar qué es útil”.

Harber mira con optimismo el futuro. “Tengo la esperanza de que seremos capaces de obtener mejores evidencias con las políticas de reapertura que con las de respuesta iniciales”, afirma. El investigador recomienda diseñarlas para que sean “más fáciles” de evaluar, pero admite que eso requerirá “invertir en colaboraciones, infraestructuras y otros recursos”.

¿Una crisis de reproducibilidad Covid-19?

El trabajo de Harber es una prepublicación o preprint, un trabajo que todavía no ha sido aprobado por la comunidad investigadora y cuyos resultados, por lo tanto, son preliminares y deben ser tomados con cautela. Sin embargo, sus conclusiones recuerdan que tampoco hay que caer en el error de pensar que el sello de calidad que tienen los estudios revisados es infalible.

“No deberíamos pensar en la revisión por pares como un certificado de alta robustez o calidad”, opina Harber. “Es un indicador razonable de que los editores de la revista y dos o tres revisores creen que [el trabajo] merece ser discutido entre otros investigadores, pero no indica necesariamente que merezca influir en las tomas de decisiones”.

La calidad de las investigaciones publicadas sobre la covid-19 en un año en el que la ciencia ha trabajado contrarreloj preocupa a algunos científicos. El investigador de la Universidad de Aarhus (Dinamarca) Serge Horbach publicó este año una evaluación sobre cómo ha cambiado la calidad de la revisión por pares debido a las prisas de la pandemia. En esta concluyó que los revisores utilizan una vara de medir distinta en aquellos trabajos sobre el coronavirus.

“Creo que debemos ser muy críticos con los estudios que presentan investigaciones novedosas”, explica Horbach. “Esto se aplica a todos, pero la velocidad a la que se están produciendo y diseminando aquellos relacionados con la covid-19 pide un escrutinio adicional”.

Harber defiende que los problemas que atraviesa la literatura sobre el coronavirus “son los mismos a los que nos hemos enfrentado durante décadas”. La diferencia principal, según él, es que “ahora son más graves, tienen un mayor impacto y son más públicos”.

“Para que los resultados de los estudios puedan ser usados, en políticas o en otras partes, es esencial que los científicos reconozcan las limitaciones de sus aproximaciones, en ocasiones ad hoc”, dice Horbach. “También que expliquen los contextos en los que sus descubrimientos pueden ser utilizados”.

Horbach cree que los revisores cada vez tienen esto más en cuenta. “Es responsabilidad de cada investigador y actor político evaluar críticamente los nuevos resultados cuando los usan, en vez de tomarlos al pie de la letra”. En este sentido, considera “prometedor” el mayor escrutinio público de los artículos científicos a través de redes sociales y plataformas como Pubpeer.

¿Significa todo esto que se avecina una crisis de reproducibilidad en la ciencia de la covid-19? Horbach cree que es demasiado pronto para juzgar: “El tiempo dirá hasta qué punto el deseo de producir conocimiento nuevo con rapidez ha afectado a la calidad de la investigación. Algunos artículos y prepublicaciones con descubrimientos defectuosos serán retractados en el futuro, pero no todos”. Esto, insiste, “enfatiza la necesidad de mantener una actidud crítica y escéptica”.

Harber, por su parte, espera que la “luz nueva” que arroja la pandemia sobre “problemas viejos” sea suficiente para reformar aquellos ámbitos que lo necesitan, desde investigadores y periodistas a organismos de financiación y revistas.