estudios, ciencia, chantas, investigaciones, prensa, medios, científicos, publicaciones, J-PAL, peer review
Imagen: Gojko Franulic

6 señales para detectar mala "ciencia"

Si la semana pasada Fran Solar advirtió sobre los estudios "chantas" y los errores de la prensa al publicarlos, hoy propone algunas técnicas para identificar cuando nos están metiendo el dedo en la boca.

Por Francisca Solar @FranSolar | 2014-02-12 | 15:47
Tags | estudios, ciencia, chantas, investigaciones, prensa, medios, científicos, publicaciones, J-PAL, peer review

La semana pasada hablamos de cómo en el último par de décadas hemos visto una proliferación desmedida de “estudios científicos” de dudosa procedencia, tanto así que el lector común queda con la sensación de que cualquier persona puede llegar y publicar ese tipo de trabajo. La credibilidad de dichas publicaciones ha comenzado a ser cuestionada, sobre todo porque nos llenamos de estudios de cosas triviales que, para peor, se contradicen entre sí. Mientras un laboratorio dice que el huevo es peligroso y no se debe consumir más de un par a la semana (por sus niveles de colesterol), otro dice que es un alimento muy sano, recomendable para toda la familia en dosis de, al menos, uno diario. ¡Pónganse de acuerdo! ¿A quién le creemos?

Sin embargo, es importante enfatizar que no hay un solo culpable en este caos “comunicacional”. Mientras la misma comunidad científica reconoce que la presión de la academia por generar publicaciones los tiene produciendo estudios con diversos errores (en metodología, transparencia de datos y mediciones, conclusiones equívocas, etcétera),  también es importante aclarar que un estudio bien hecho puede ser, simplemente, mal explicado al mundo, y que de ahí se generen todas las confusiones. 

No sólo hay pocos científicos duros que pueden explicarnos en fácil qué descubrió con su último experimento, sino que algunas revistas que se dicen “especializadas” no siempre tienen el peso o la trayectoria como para dar a conocer ciertos temas. Las revistas que sí están debidamente acreditadas, ponen a expertos a revisar acuciosamente los artículos que van a publicar, asegurándose de que cumplen estándares mínimos (lo que comúnmente se llama peer review” o “revisión por pares/colegas”). El problema es que hay más estudios que manos revisoras y no siempre se puede ser tan pulcro en el filtro; es decir, el peer review no es infalible y hasta Science o Nature se pueden equivocar o los estudios ya vienen “maquillados” para pasar las barreras editoriales (tal como se discute en el paper StarWars: Empirics Strike Back, recomendado por J-PAL) o simplemente se cae en ser “menos exigentes con los artículos que cuestionan la visión dominante, porque ésta última está ya muy vista”, tal como dice RealClimate.org.

Para colmo, muchos estudios que no obtienen los resultados deseados, son ocultados por sus autores o rechazados por las revistas, al punto que los estudios con resultados positivos tienen el doble de posibilidades de ser publicados, que aquellos con resultados negativos.

Por último, y no por eso menos importante, está el rol de la prensa tradicional. Ya no estamos hablando de revistas o foros especializados: hablamos de diarios y noticieros comunes, que toman las novedades científicas como una nota miscelánea. Desde sitios derechamente amarillistas y poco éticos hasta diarios grandes y consolidados, suelen reproducir información de ciencia con muy poca rigurosidad, poco análisis y sin chequear las fuentes. Me incluyo en la crítica, porque más de una vez me debe haber pasado. No hay suficientes periodistas expertos en estos temas (ni suficiente interés, muchas veces) como para que haya un colador adecuado en la prensa común, por lo que las malinterpretaciones y titulares engañosos están a la orden del día…

Ben Goldacre hizo un ágil e hilarante resumen de todas estas "distorsiones científicas" en esta genial charla TED:


El llamado usual es a mantener la distancia, a no creer a la primera, pero esta vez quiero darles consejos concretos. La información más chanta se delata de varias maneras y no se requiere un ojo tan, tan agudo. Pero sí atento.

1) “Un importante estudio de una prestigiosa universidad…”: Si el artículo parte con esta frase, déjelo hasta ahí y continúe con su vida. Alerta inmediata de charlatanería o derecha invención. Sin importar el tema que aborde, un estudio serio debe exhibir con mucha claridad quiénes están detrás (profesionales, instituciones) y, mejor aún, quién lo financia; si no existe esa info, huya.

2) “Un estudio del reconocido Dr. Nagisetty Mukunda Sudheer, concluyó que…”: Ojo aquí. Cuando no están aparejados a alguna universidad / institución o contexto macro más sólido, los nombres raros y rimbombantes están ahí con una clara misión: distraernos. Embolinarnos la perdiz, como se dice en buen chileno. Desconfíen siempre de los estudios de profesionales solitarios, sobre todo si no pueden pronunciar su apellido y están alojados sólo en su blog o sitio personal. Y hay varias opciones: o el nombre es inventado (un breve barrido en Google basta para corroborarlo) o el doctor efectivamente existe ¡Y puede que sea una eminencia! Pero no es suficiente para que sus conclusiones tengan que considerarse necesariamente una ley, sobre todo si su trabajo no ha pasado por peer review.

3) Estudio publicado en sitio de dudosa reputación: ¡Ah, la democratización de Internet! Bella y peligrosa. Recuerde que en esta era globalizada, literalmente cualquiera puede confeccionar un sitio que aloje material de diversos temas, muchas veces producto de un copy-paste poco prolijo de otras webs. Ni siquiera los sitios "bonitos" (buen diseño y navegación, etc) dan garantía. Si quiero saber los detalles de una especie en peligro de extinción, voy primero a NatGeo, no a Wikipedia, ya que sabemos que la famosa enciclopedia está llena de errores y/o datos no corroborados. El mismo criterio se debe aplicar a un estudio científico. 

4) Estudio publicado en sitio o revista científica “poco conocida”: Muy similar al punto anterior, pero con la dificultad añadida del aparente respaldo del área. Los mismas universidades han alertado sobre ciertas publicaciones de propagación científica que no cumplirían con los estándares mínimos y que justamente se prestan para dar vitrina a trabajos que no pasarían el filtro en una revista consolidada. Antes de creerle ciegamente a esa nueva revista de ciencia, cerciórese de que quienes componen el equipo editorial sean profesionales competentes y atingentes. Además, revise qué otros artículos poseen; de la cantidad/calidad se percibe el tipo de publicación que son.

5) Estudio en un artículo que no cita fuente original: Es un error lamentable y tremendamente común, que si bien a veces es ingenuo e involuntario, de todas maneras es un dato a considerar antes de tomar en serio la información que estamos leyendo. Por mucho que diga "Tres destacados científicos de la U. de XXX tras 20 años de experimentación en…" y bla bla, si no posee la fuente original al final del artículo (link o bibliografía, generalmente en inglés u otro idioma extranjero), es imposible saber si todos esos datos son ciertos.

6) Estudios con hipótesis muy excéntricas o con conclusiones… extrañas: Este es el consejo más subjetivo y sujeto a innumerables “depende”, pero téngalo igual en consideración. Aquí no queda más que apelar al sentido común (sí, el menos común de los sentidos) y de muestra, un botón: dese una vuelta por este estudio sobre el efecto de la música country en la tasa de suicidio de personas de origen caucásico o éste otro sobre la reacción de pollos ante rostros de mujeres lindas y dígame si no es para reír (o llorar).

No dudo que debe haber varias otras formas de estar mejor preparados (y más atentos) ante el bombardeo de publicaciones científicas “dudosas”, así que están invitados a compartirlas. Durante los últimos años, la masa se ha empoderado en todo orden de cosas, exigiendo mayor transparencia y calidad a las grandes marcas e instituciones. Ésta no tendría que por qué ser la excepción.

¿Qué otros consejos darías para discriminar la calidad de los "estudios" sobre los que nos informan?

¿CÓMO TE DEJÓ ESTE ARTÍCULO?
Feliz
Sorprendido
Meh...
Mal
Molesto
ESTADÍSTICAS: APOYO A FRASES DE ESTE ARTÍCULO
Estas estadísticas sólo se le muestran a los usuarios que ya han dado su opinión con un click sobre alguna de las frases rojas destacadas en el texto del artículo.
Comentarios
Florencia del Rio | 2014-02-12 | 18:08
1
Otra frase lamentable es: los médicos no lo recomiendan para no perder dinero/porque es medicina alternativa

La primera es absurda porque los médicos no ganan con los medicamentos que se le dan a los pacientes
La segunda, porque la medicina incorpora a su práctica cualquier cosa que tenga demostración con estudios bien hechos, no importando su origen. Asi, es de práctica común utilizar acupuntura para el manejo del dolor y hay magísteres y especializaciones para entrenarse como acupunturista.
responder
denunciar
apoyar
carlos meneses | 2014-02-12 | 19:08
5
¿Cómo se le llama a la medicina alternativa que se ha demostrado que funciona?
Medicina
responder
denunciar
apoyar
Eduardo Salinas | 2014-02-14 | 11:15
0
Lo primero, varias veces he escuchado de los farmaceuticos que si hay doctores que ganan ciertas "comisiones" por recomendar ciertos remedios, si eso fuera cierto, si ganarian con ciertos medicamentos.

Carlos le hago recuerdo que la medicina nacio de los medicos brujos y las yerbas curativas, lo mismo que hoy se conoce como medicina alternativa solo que no es creado en un laboratorio. Bastante despectivo y ofensivo su comentario.
Hay mas de un caso donde la medicina no pudo hacer nada y la medicina alternativa ha ayudado a salir adelante.
responder
denunciar
apoyar
den l | 2014-02-12 | 19:25
2
Me gusta mucho El Definido, pero incluso acá ya ha publicado (al menos 1) reportaje dudoso y sin la fuente original. (el de los bebés transgénicos...)
responder
denunciar
apoyar
Antonio Cartes | 2014-02-12 | 22:54
1
Deberian enviarle el link a los editores de los rigurosos estudios que aparecen en LUN o La cuarta.
responder
denunciar
apoyar
Javier Cabezas | 2014-02-12 | 22:57
4
Yo llegué a un nivel de cuando escucho "científicos dicen" en cualquier medio periodístico ignoro el contenido de este porque, al menos lo más probable, es que sea basura. Lo preocupante es que muchas personas lo toman como verdad absoluta.
Existe un webcomic que explica bastante bien el problema en http://www.smbc-comics.com/?id=1623 .
responder
denunciar
apoyar
Hahaha buenísimo xD
responder
denunciar
apoyar
Guillermo Pandelara | 2014-02-13 | 10:18
1
Muy bueno SMBC!!!!!
responder
denunciar
apoyar
Antonio Cartes | 2014-02-13 | 14:55
0
hahahha genial SMBC, siempre los veo :)
responder
denunciar
apoyar
Gonzalo Hidalgo | 2014-02-13 | 07:41
2
El problema del último punto es que hay estudios que si bien tienen conclusiones extrañas, si son válidos y efectivamente se llegó a esa conclusión. Es cosa de ver los premios Ig Nobel.
responder
denunciar
apoyar
Marco Canepa | Editor | 2014-02-13 | 10:37
1
Por eso aclara que queda a criterio del lector ;)

No se trata de no creer, sino de verificar.
responder
denunciar
apoyar
Andres Jofre | 2014-02-13 | 11:37
2
Oe oe wikipedia esta teniendo una muy buena base lo que si hay que tb saber leer las citas del reporte de wikipedia pos.
responder
denunciar
apoyar
Eduardo Salinas | 2014-02-14 | 11:18
0
muy buenos los datos se agradece :)
responder
denunciar
apoyar
Sebastian Colé | 2014-03-18 | 19:47
0
Yo no podría haber terminado mi tesis, sin la ayuda de mi polola que es socióloga, su peer review fue lo que hizo que tuviera calidad sin mucha cháchara que no tenia otra utilidad salvo "rellenar más páginas".
responder
denunciar
apoyar
mauricio sepúlveda | 2014-06-27 | 12:33
0
Totalmente cierto! Les dejo un link con un ejemplo muy claro (guiño) http://www.eldefinido.cl/actualidad/mundo/1333/Gimnasia_para_el_cerebro_7_ejercicios_que_despertaran_tus_neuronas/
responder
denunciar
apoyar
* Debes estar inscrito y loggeado para participar.
© 2013 El Definido: Se prohíbe expresamente la reproducción o copia de los contenidos de este sitio sin el expreso consentimiento de nuestro representante legal.