Sin rigor y transparencia, no hay ciencia: sobre Surgisphere y sus publicaciones científicas en revistas de alto impacto

[Este texto ha sido escrito por: Alberto García-Basteiro, Assistant Research Professor en ISGlobal y médico del Servicio de Salud Internacional del Hospital Clínic; Joe Brew, analista de datos; y Carlos Chaccour, Assistant Research Professor en ISGlobal y Chief Scientific Officer de BOHEMIA]

Durante esta pandemia, se han constatado notables cambios en la forma en la que se disemina información científica. En los últimos meses el crecimiento en el número de publicaciones relacionadas con la COVID-19 ha sido exponencial, hasta el punto en que las revistas científicas tradicionales se han visto colapsadas ante el ingente volumen de envío de artículos. Debido a este colapso, y motivado por la urgencia de compartir información de manera rápida durante una emergencia sanitaria, gran parte de la investigación ahora se publica a través de pre-prints o preimpresiones, artículos puestos en internet sin pasar por el proceso de revisión por pares. Muchos han subrayado los problemas inherentes a este fenómeno (errores, falta de rigor, problemas metodológicos, etc.); pero estos problemas no son exclusivos de los pre-prints. La velocidad y el ansia por ofrecer resultados científicos en tiempo récord (tanto por parte de los autores, como de los editores), se ha traducido en la publicación, en las revistas más prestigiosas del mundo, de artículos de cuestionable calidad.

Recientemente, han surgido numerosas preocupaciones sobre una publicación en The Lancet, que ha llevado a parar múltiples ensayos clínicos que evaluaban la hidroxicloroquina como posible tratamiento para la COVID-19, entre ellos una parte del Solidarity Trial, un proyecto científico liderado por la Organización Mundial de la Salud que compara cuatro tratamientos para pacientes hospitalizados con COVID-19 severo (en España hay 20 ensayos clínicos registrados con hidroxicloroquina o cloroquina). El motivo es que esta publicación de The Lancet asociaba una mayor mortalidad y riesgo de arritmias a los pacientes que habían tomado cloroquina o hidroxicloroquina. El estudio incluye, supuestamente, a más de 96.000 pacientes de 671 hospitales de todos los continentes.

Dadas las numerosas irregularidades que hemos podido constatar en los tres artículos provenientes de esta empresa, es nuestra posición que los resultados y conclusiones no pueden ser confiables

Los autores afirman haber utilizado datos de Surgisphere, una plataforma de "datos anonimizados obtenidos mediante la extracción automatizada en registros de salud electrónicos de pacientes". Por lo tanto, se supone que existe algún tipo de acuerdo de colaboración con cientos de hospitales de todo el mundo que facilitan registros electrónicos permitiendo a esta empresa privada obtener a tiempo real y de forma automatizada los datos de los pacientes de esos centros. Si esto fuera veraz,iría directamente en contra de varios puntos del Reglamento General de Protección de Datos de la UE (RGPD),de la colaboración entre Estados Unidos y la UE, además de las leyes nacionales de muchos estados, sin entrar en las normas éticas de instituciones de investigación

Menos atención por ahora han tenido otras dos publicaciones que utilizan esta misma base de datos de Surgisphere, y en la que participan varios de los autores de la publicación de The Lancet. La primera es un artículo publicado el mismo mes de mayo en la revista de alto impacto New England Journal of Medicine (NEJM) sobre mortalidad asociada a pacientes con patología cardiovascular y COVID-19; la segunda es un pre-print sobre los beneficios de un fármaco, la ivermectina (que generalmente se utiliza como antiparasitario), para el tratamiento de COVID-19. Este último, a pesar de no haberse publicado en una revista tradicional ni haber sido sometido a una revisión de expertos, ha contribuido a que este fármaco sea incluido en las guías terapéuticas nacionales para COVID-19 de Perú y a que se haya administrado de forma masiva a 350.000 personas para el tratamiento o prevención de COVID-19 en Bolivia .

Esto no es una guerra sobre la utilidad de la hidroxicloroquina para la COVID-19, sino sobre la credibilidad y transparencia de publicaciones científicas que tienen consecuencias importantes para la salud pública

Dadas las numerosas irregularidades que hemos podido constatar en los tres artículos provenientes de esta empresa, es nuestra posición que los resultados y conclusiones no pueden ser confiables. Entre ellos, incoherencias en los números de pacientes incluidos en algunos países (incluidos España) y/o continentes con respecto a los datos hechos públicos por los países y la propia Organización Mundial de la Salud, el dudoso proceso de transferencia automatizada de datos individualizados de muchos países donde no suelen existir historias clínicas electrónicas, la ausencia de la obligada evaluación ética para este tipo de estudios científicos o la falta de transparencia en el análisis (no disponibilidad de código ni base anonimizada para poder ser contrastada). Muchos de estos argumentos, son compartidos por respetados investigadores.

Asimismo, nos resulta impactante que la supuesta más grande y sofisticada base de datos clínicos de pacientes hospitalizados existente en el mundo sea totalmente desconocida para la comunidad científica internacional, que los procesos de limpieza y análisis de ingentes cantidades de datos se hagan en apenas días (a juzgar entre la fecha de recogida de datos y la de publicación), y que sus primeras publicaciones científicas sean en dos de las revistas más prestigiosas de medicina que existen. Este impactante debut, aunque infrecuente y sorprendente, no es motivo per se de sospecha sobre el rigor de los estudios. Sin embargo, no son los únicos elementos sobre la empresa que han sembrado tanta incredulidad. Aunque el trabajo que implica la creación, mantenimiento y limpieza de semejante base de datos es mayúsculo, los artículos son firmados por 5 o 6 autores y, por supuestas razones de "acuerdos de transferencia de datos" con sus clientes, no se menciona ni uno de los centros participantes. Las declaraciones del CEO de Surgisphere y coautor de los artículos cuestionando la necesidad de ensayos clínicos ante la evidencia que se desprende de los análisis de semejante base de datos es simplemente inaceptable y denota ausencia de rigor científico y un atrevimiento desmedido.

Durante las emergencias, es fácil olvidar la necesidad de rigor en ciencia, pero es ahora, más que nunca, cuando la evidencia, y no simples opiniones, debe guiar nuestras decisiones

En ciencia, el umbral para determinar lo que es "verdad" tiene que ser alto. Afirmaciones extraordinarias (por ejemplo, tener una base de datos tan poderosa que ya no hacen falta ensayos clínicos) requieren evidencia extraordinaria. Sin ella, la posición por defecto tiene que ser la duda y el escepticismo. Nos parece extraordinario que Surgisphere tenga los datos que dice tener. No porque tengamos algo en contra de esta empresa, sino porque esta empresa no ha facilitado información suficiente para superar los umbrales razonables de evidencia. Esto no es una guerra sobre la utilidad de la hidroxicloroquina para la COVID-19, sino sobre la credibilidad y transparencia de publicaciones científicas que tienen consecuencias importantes para la salud pública.

Aunque la semana pasada alertamos a las revistas sobre la necesidad de contrastar la información contenida en estos artículos, estamos decepcionados por la velocidad en la que se diseminan resultados cuestionables y la lentitud con la que se corrigen. En nuestra opinión, ante las incoherencias de estos artículos, sería imprudente "confiar" y más responsable "dudar". Ayer, finalmente, tanto The Lancet como NEJM publicaban sendas expresiones de preocupación sobre la base de datos y las conclusiones de los estudios. Estamos en contra de cualquier decisión que se derive de resultados publicados por esta corporación privada mientras no se facilite más información sobre los elementos anteriormente señalados o se aumente la transparencia sobre la base de datos. Durante las emergencias, es fácil olvidar la necesidad de rigor en ciencia, pero es ahora, más que nunca, cuando la evidencia, y no simples opiniones, debe guiar nuestras decisiones. Necesitamos evidencia, rigor y el escrutinio de la comunidad científica siempre, pero especialmente durante una emergencia sanitaria. En el caso de Surgisphere no se han facilitado elementos para reproducir su análisis, y sin embargo han conseguido publicar en dos de las revistas más prestigiosas del mundo en el mismo mes. Este episodio está dañando la confianza en la ciencia cuando más la necesitamos.