Hoy en día, quien no tiene un estudio científico a mano no es nadie. No importa lo peregrina que sea la idea, siempre hay un estudio que la respalde: ¿Quieres argumentar que no hay evidencia científica que demuestre que los paracaídas son buenos evitando la muerte de los saltadores? Aquí tienes tu estudio. ¿Quieres decir que el chocolate es mejor que estar enamorado? Aquí hay uno ¿Que hasta una oveja recuerda mejor las caras que tu amigo el olvidadizo? No hay problema.
Rara es la mañana que no nos despertamos con la cura definitiva a alguna enfermedad terrible, el enésimo producto cancerígeno o el siguiente sector que va a revolucionar el grafeno. Normalmente nos lo encontramos escrito en grande, en negrita y, a se posibles, con MAYÚSCULAS. Y la verdad es que uno quiere ser optimista, quiere creer que por fin han creado una masa de churros que no engorda o que vamos a ser capaces de acabar con las migrañas.
Pero ya son muchos años y uno se resiste a dejarse llevar por el entusiasmo: ¿Al fin y al cabo, cómo podemos saber sin ser expertos que el estudio que está compartiendo todo el mundo es de confianza o es un engañabobos?
La mayoría de estudios son exagerados
Eso es así. Y reconocerlo es el primer paso. Entre 1979 y 1983, las seis mayores revistas científicas del mundo publicaron al menos un centenar de artículos en los que se explicaba que cierta tecnología tenía un gran futuro terapeútico o preventivo. Solo cinco de esas tecnologías llegaron al mercado y solo una se usaba diez años después. Una. De los 49 estudios más importantes de la década de los 90, 14 (es decir, un 29%) fueron refutados en investigaciones posteriores (Ioannidis, 2005).
(Vlad Tchompalov/Unsplash)
Esto podría no ser un problema si habláramos de cincuenta o cien artículos. Pero en los últimos 25 años, el número de estudios médicos ha crecido un 300%. Hay algunas revistas como Evidence-Based Nursing o Evidence-Based Medicine que revisan todos los artículos que se publican en su área intentando identificar los avances más importantes para la práctica profesional. Cada año BMN revisa unos 50.000 nuevos artículos científicos, de los cuales sólo una media de 3.000 tienen suficiente calidad como para ser tenidos en cuenta en la práctica enfermera.
Si ponemos estas cifras en términos económicos un 85% de la financiación científica (alrededor de 200 mil millones de dólares en 2010) es gastado anualmente en investigaciones redundantes o mal diseñadas.
La mayor parte de toda la ciencia que conocemos es falsa
Adherirse a una visión científica del mundo es adherirse a una visión efímera, parcial y cambiante de la realidad; a un proceso permanente de revisión más que a un resultado o un lugar de llegada. Más aún, es acostumbrarse a vivir sabiendo que la mayor parte de lo que sabemos es falso.
Mi formulación favorita de esta idea es la inducción pesimista de Larry Laudan. Laudan vino a decir que "la propia historia de la ciencia proporciona innumerables ejemplos de teorías empíricamente exitosas que fueron rechazadas; desde perspectivas posteriores, no pueden ser considerados como verdaderas ni siquiera aproximadamente verdaderas". Así que es razonable pensar que las teorías actuales también serán rechazadas en el futuro.
Reconozco que puede parecer difícil compatibilizar la idea de que la mayoría del trabajo científico es erróneo con la confianza general en la ciencia. Pero eso se debe a que normalmente tenemos una idea demasiado romántica de la ciencia.
En parte es nuestra culpa, de los divulgadores, que damos a entender que la ciencia es algo fascinante, maravilloso y sexy. Cuando en realidad es como Sherlock Holmes (o Sheldon Cooper): alguien brillante pero bastante incómodo y difícil de aguantar. Habrá gente enamorada de la ciencia (porque, en fin, hay gente para todo), pero (como saben todos aquellos que han pasado parte de su vida en un laboratorio) la mayor parte de las veces la ciencia es el típico personaje que aparece en mitad de la fiesta para aguantárnosla.
La toleramos y toleramos que nos diga cosas que no queremos escuchar porque sencillamente suele tener razón.
No hay magias: es el proceso científico el que a través de los años y el esfuerzo de muchas personas nos va acercando a la realidad. Los fallos, los errores e incluso los fraudes son consustanciales a ese progreso. Son, si me lo permiten, claves en la mejora de nuestra comprensión del mundo. Por eso la pregunta importante no es si existen papers chungos o no. La pregunta fundamental es cómo podemos aprender a separar el grano de la paja en un mundo en el que los estudios científicos son nuestra mejor forma de conocer la realidad.
Consejos para leer (y desechar) una noticia científica
Leer un artículo científico es algo totalmente distinto a leer un artículo en un blog o un periódico. Los artículos (o papers si usamos el término inglés) son piezas que tratan de hacer aportaciones interesantes a la conversación global sobre un tema o disciplina. Lo que pasa es que no podemos saber de todo. Por eso, lo mejor es usar proxies, señales que nos alertan de que ese trabajo no es de fiar.
¿Parece demasiado bueno para ser cierto?
(jesse orrico/Unsplash)
Si algo es demasiado bueno para ser cierto, probablemente no lo sea. Es simple. Grandes afirmaciones requieren grandes pruebas. Así que si nos encontramos cosas del tipo "la estevia cura el cáncer", "las dobles cheeseburgers con extra de salsa barbacoa adelgazan" o "encuentran a Nessy tomando algo en un pub cerca de Glasgow", lo más probable es que no sea cierto.
Show me the data: ve siempre a la fuente original
Pero mantengamos la mente abierta. Lo habitual es que nos enteremos de los avances científicos por la prensa. Eso quiere decir que lo habitual es que la noticia tenga poco que ver con el artículo original. Siempre hay que tener en cuenta que la información está llegando a ti a través de un complejo proceso que nos gusta denominar comunicación científica pero que se parece mucho al teléfono escacharrado.
Los artículos se publican en una revista académica, luego los departamentos de comunicación tratan de "colocárselos" a algún periodista o agencia; más tarde, pasan a medios especializados y, ya casi al final, a la prensa generalista. Así, si miramos las hemerotecas podemos ver que hay descubrimientos que se repiten cada 3 ó 4 años. Mi consejo es buscar siempre la fuente original. De hecho, si no te la dan (o no dan datos que nos permitan buscarla) lo más recomendable es ser escépticos sobre el asunto.
La importancia de la revista (y del peer review)
Cuando llegamos a la fuente original, podemos analizar qué tipo de estudio estamos leyendo. Las revistas son un buen proxy para saber si el artículo es de fiar.
Revistas como Science, Nature o PNAS pueden meter la pata pero tienen procesos de revisión exigentes que garantizan cierta seguridad. En cambio hay otras revistas que publican todo lo que se menea: las "revistas depredadoras". Jeffrey Beall, un bibliotecario de la Universidad de Colorado en Denver, mantiene la lista más famosa de revistas depredadoras: si el artículo proviene de una revista que esté en esta lista, es buena idea desconfiar.
(Louis Reed/Unsplash)
Ante la duda, lo mejor es preferir estudios revisados por pares (peer review). ¿Qué significa eso? Los estudios revisados por pares son estudios que, en su proceso de edición, hayan sido reconocidos como publicables por los investigadores del área. Debemos de preferir artículos que han sido revisados por pares, frente a los que no: por pura precaución. Pongamos un ejemplo. Hace unas semanas los periódicos se llenaron de artículos como éste de Europa Press: "Un estudio lo confirma: los perros odian los abrazos".
Hubo decenas de ellos aunque, en realidad, ni estudio ni leches: todo surgió de un artículo de opinión en Psychology Today en el que se contaba que tenían ciertos datos (no publicados y basados en fotografías) sobre el tema. Una vez que sabemos de donde sale la información, sabemos que aún nadie externo a la investigación la ha avalado. Y, aquí entre nosotros, la historia no ofrece las garantías mínimas para hablar sobre ella.
La revisión de pares no es un sistema perfecto, ni mucho menos. Por ejemplo, hace unos meses se coló un artículo creacionista en PLoS ONE, una de las revistas con mayor impacto. Pero no siendo perfecto, nos ayuda a tener algo de seguridad.
No te fíes de los autores. O no demasiado
Yo siempre he sido un gran defensor del ad hominem. Vale, sí, es cierto, lo importante es el experimento y el argumento científico pero seamos realistas: la ciencia se basa en la confianza. Como no podemos estar físicamente en cada experimento, tenemos que confiar en que los científicos presentan los datos correctamente, que tienen buena fe y que no tratan de engañarnos.
No sólo hablamos de fraude, de hecho casi no hablamos de fraude. Hablamos de prácticas cuestionables para obtener resultados más apetecibles y sobre todo hablamos de que los científicos tienen agenda, intereses y opiniones. Aunque sabemos que la credibilidad científica no se suele ver afectada por la defensa de una agenda política determinada. Debemos tener en cuenta que los autores son personas como nosotros y eso influye en los resultados, queramos o no. Si los investigadores son respetados, lee atentamente; si no, seguro que hay otras cosas a las que dedicar el tiempo.
El contenido es el rey
(Ilya Pavlov/Unsplash)
Como decía, la ciencia es demasiado amplia como para saber de todos los temas. Pero hay algunas preguntas a las que debe responder toda investigación y que, de no hacerlo, debe ponernos en alerta.
- ¿La pregunta que trata de responder está bien definida y es precisa?
- ¿Incluye referencias y trabajos previos? ¿Hace una revisión del trabajo que se ha realizado hasta el momento?
- ¿Hace hipótesis o predicciones falsables? ¿Explica qué cree que va a pasar y por qué?
- ¿Explica paso a paso como han realizado la investigación? ¿Con suficiente detalle como para poder volver a realizarlo?
- ¿Repasan los posibles fallos y limitaciones del trabajo?
Estas cosas son fundamentales. Si la investigación no deja claros estos puntos y no explica bien el porqué, podemos mostrarnos escépticos.
Tómatelo con calma. Es solo un estudio
No sé si lo saben pero el café no sólo previene el cáncer sino que, además, es cancerígeno. De hecho, todo lo que comemos y bebemos causa y previene el cáncer.
Un sólo artículo no demuestra o refuta nada. Es sólo un dato más. Por eso, los científicos llevan muchos años desarrollando técnicas de metaanálisis; técnicas para seleccionar y comparar un gran número de estudios para identificar tendencias, neutralizar sesgos y enmendar problemas. Esto es algo bastante complicado porque no todos los estudios son iguales: los estudios experimentales son más fiables que los correlacionales; los mecanismos causales son más sólidos que las tendencias epidemiológicas, etc.
Además, aunque un metaanálisis siempre es mejor que un estudio individual, los mismos metaanálisis tienen problemas y sesgos propios. Pero es lógico porque la ciencia es un juego al que estamos empezando a aprender a jugar.
Una versión previa de este artículo apareció publicada en mayo de 2016.
