¿Cómo evaluar un trabajo científico? ¿Cómo sé si es confiable un estudio? ¿Es adecuado usarlo para tomar decisiones? ¿Qué tan extrapolables son los resultados? Estas son preguntas que nos hacemos los profesionales involucrados en procesos de toma de decisiones y profesionales de la salud que leemos estudios recientemente publicados. Vamos a responder en este artículo cómo evaluar un trabajo científico con herramientas de pensamiento crítico.

En esta era, donde el mundo está tan globalizado y tenemos una enorme cantidad de información en la palma de la mano, es más necesario que nunca desarrollar el pensamiento crítico para poder decidir qué información usar para la toma de decisiones y/o poder detectar sesgos. En otro momento hemos hablado de “fake news”, y como identificarlas, y uno de los puntos planteados era chequear si la información está basada en un trabajo científico o no. Ahora, abordaremos otro aspecto que es: cómo evaluar un trabajo que parece científico.

Evaluar un trabajo científico no es una tarea fácil, sobre todo cuando no se tiene esa formación, pero, como profesionales, muchas veces tenemos que decidir si consideramos o no un artículo como objetivo. Acá nos vamos a focalizar en cinco puntos a evaluar, independientemente del background estadístico que se tenga, para analizar si un artículo que nos llega puede ser considerado como información valiosa para el tema que estamos tratando de entender o si tiene inconsistencias y es mejor tomarlo “con pinzas” o dejarlo de lado.

1. ¿Dónde fue publicado?

Un buen comienzo, es evaluar en dónde fue publicado ese trabajo que se plantea como científico. ¿Fue publicado en una revista científica con revisión de pares o en una revista sin revisión de pares, como revistas de divulgación o extensión? ¿Por qué es importante este primer punto? Porque, para ser publicado en una revista científica con revisión de pares, el artículo pasa por un escrutinio de un jurado de científicos especializados en el tema, que evalúan si el diseño experimental y la metodología de toma y análisis de datos es apropiada para el tipo de conclusiones que se presentan. El hecho de que un artículo sea publicado en este tipo de revistas, en general, le da cierto respaldo. Desde ya que existen distintas categorías y niveles de prestigio entre las revistas científicas, y ese es un tema por sí mismo.

Las revistas científicas también proveen un medio para que, una vez que un artículo fue publicado, otros científicos pueden publicar cartas comentando o respondiendo sobre lo que se publica. De hecho, hay casos de artículos que han sido corregidos, e incluso retirados de la revista donde habían sido publicados, por fallas detectadas a posteriori de su publicación. Que haya artículos retractados después de su publicación también habla del rigor científico del proceso. Por lo tanto, también es importante chequear si hay cartas o comentarios relacionados al artículo a evaluar. Por otro lado, están las publicaciones que no necesariamente reciben un análisis tan detallado de pares, como pueden ser las revistas de difusión o extensión. En ese caso, no se cuenta con ese primer escrutinio, aunque no quita que este tipo de artículos puedan presentar información de calidad.

2. ¿La lista de bibliografía es apropiada?

El segundo punto, es analizar la bibliografía referenciada en el artículo. Acá es importante remarcar que el proceso de la ciencia no se detiene con la publicación de un artículo científico, más bien cada artículo contribuye a formar la evidencia científica, que se relaciona con el uso consciente, explícito y juicioso de datos válidos y disponibles procedentes de la investigación científica. En ese sentido, cada estudio contribuye a la evidencia científica, y si alguno muestra algo diferente a lo que dice el consenso, necesita ser comprobado para ser considerado parte de la evidencia o refutado si no se pueden repetir los resultados.

Justamente, la descripción explícita y técnica de los materiales y métodos utilizados en un estudio o ensayo permite que otros científicos puedan replicar o extender la investigación sobre el tema. La lista de referencias puede proveer información valiosa sobre si los autores reconocen información previa, citan trabajos de fuentes calificadas y diversas o si tienen un sesgo en sus citas hacia ciertas instituciones o autores. También se puede ver qué tan actualizadas están esas fuentes, si incluyen fuentes recientes o si son fuentes más viejas. A modo de ejemplo, si el artículo tiene pocas referencias y varias son del mismo grupo o propias y/o la referencia más actualizada es de hace tres años, posiblemente los autores no están siendo ni objetivos ni están actualizados sobre el tema.

3. ¿El título es adecuado para los resultados y conclusiones del estudio?

Una vez que ya chequeamos de dónde viene el artículo, y la calidad de la bibliografía referenciada, la siguiente pregunta a responder es qué tanto se adecua el título a los resultados y conclusiones del estudio. Este es un paso no menor, porque muchas veces el título es lo único que se comparte y se difunde de un trabajo. Si el título no es consistente con el trabajo, puede trasmitir una idea incorrecta o generar una percepción errónea sobre el tema. Intuitivamente, dependiendo de qué tanto se alinee con lo que pensamos, lo cuestionamos más o menos.

Hay veces que el título es una afirmación, en teoría representando las conclusiones, y habla por sí mismo, es como el “spoiler” del artículo, nos adelanta la conclusión. Otras veces el título tiene más que ver con la descripción de la metodología del estudio o el objetivo de ese trabajo. En general, los títulos de los artículos científicos son bastante neutros, pero puede haber algunos tendenciosos o que incluso lleven a pensar algo diferente de lo que se encontró. Lo bueno es que, para chequear que el título sea adecuado, no se necesitan conocimientos específicos sino simplemente tomarse el tiempo de leer el artículo completo y usar el sentido común. Tenemos que dejar de lado la emoción y analizarlo con la razón, usando el pensamiento crítico para contestar la pregunta: ¿Se relaciona el título con las conclusiones del trabajo?

Se debe comprobar que lo que se usa como título sea adecuado, que está en línea con los resultados y está explicitado en las conclusiones. Hay casos donde quizás el estudio apuntaba a encontrar algo, que se refleja en el título, pero los resultados demuestran lo contrario o no son suficientes para confirmar esa teoría o hipótesis. En ese caso, el título puede conducir a ideas y decisiones erróneas. Un título no adecuado nos puede estar señalando falta de rigor en la evaluación del artículo publicado o sesgo/intencionalidad por parte de los autores. Un punto a agregar acá es que muchas veces las personas leen, aparte del título, solo el abstract (o resumen). A veces el abstact ya contrasta con el título, a veces el abstact no refleja los resultados, por eso es importante leer el artículo en su totalidad y comprobar la consistencia entre título, abstact, resultados y conclusiones.

4. ¿Las conclusiones que se desprenden del trabajo científico están respaldadas por el diseño?

Una vez que se chequeó que el título es adecuado, es decir, coherente con los resultados y conclusiones del trabajo, la próxima pregunta a contestarse sería ¿El tipo de diseño experimental del trabajo es el adecuado para contestar la pregunta/hipótesis que se plantea? ¿Las conclusiones que se desprenden del trabajo científico están respaldadas por el diseño? Muchas veces la persona que lee un artículo no necesariamente tiene experiencia estadística como para hacer un análisis profundo, pero hay una pregunta muy útil para hacer un análisis preliminar de si las conclusiones son apropiadas para el diseño: ¿El trabajo reporta una relación causa-efecto o una asociación entre variables?

- Para poder reportar una relación causa-efecto, es decir que un efecto es causado por uno o más factores, el diseño debe ser el de un ensayo experimental. Esto quiere decir que hay un grupo de unidades de estudio sobre las que se aplica uno o más tratamientos para comparar su efecto con un testigo (control), en condiciones controladas. En estos ensayos experimentales hay una determinada cantidad de repeticiones y la asignación de tratamientos a las unidades de estudio se realiza al azar. Lo único diferente entre los individuos de los grupos es el tratamiento aplicado, ya que las demás variables que podrían tener un efecto se mantienen constantes. Por lo tanto, se puede asumir causalidad (o sea decir que los efectos registrados son causados por el tratamiento que se aplicó manteniendo las demás variables controladas).

- Los reportes de asociaciones entre variables y factores se desprenden de estudios observacionales. En estos casos, no hay tratamientos definidos asignados al azar a las unidades de estudio, sino que se describe lo que se observa en distintas situaciones. En los estudios observacionales, generalmente, hay muchos factores que no se pueden controlar, incluso hay factores que ni siquiera se pueden identificar y que pueden tener un impacto en las variables que se analizan. Un tema importante es, analizar cómo se tomó la muestra y cuántos de los factores externos, que también pueden impactar en la variable medida, fueron considerados o no, ya que las condiciones no son controladas. Cuanto mejor esté diseñado el estudio y más controlados estén los factores externos, menor será el “ruido” y mayor la consistencia de los resultados. Un estudio observacional permite identificar y reportar asociación entre los factores evaluados y la variable medida, pero no permite asumir causalidad (o sea, se puede decir que un efecto está relacionado con un grupo/factor en particular, pero es incorrecto afirmar que el efecto observado fue causado por estar en ese grupo o expuesto a un factor en particular).

5. ¿La extrapolación de resultados propuesta está respaldada por el diseño?

La posibilidad de extrapolar los resultados a la población, o no, depende de cómo se eligieron las unidades de estudio, independientemente se trate de un ensayo experimental o de un estudio observacional. Acá el objetivo es identificar si se hace alguna extrapolación de resultados en el artículo a una población o si solo se refieren al grupo de unidades del estudio, y evaluar si esa extrapolación es correcta en base a esta pregunta: ¿Cómo se eligieron las unidades de estudio?

1. Si la selección de unidades a incluir en el estudio fue al azar (es decir que todas las “unidades” de una población tuvieron las mismas chances de ser elegidas para el estudio), los resultados se pueden extrapolar a la población de la cual se eligieron.

2. Si la selección de unidades no fue al azar (o sea que se usó un grupo específico o voluntarios no elegidos al azar de la población), entonces no se pueden extrapolar los resultados a la población, y sólo aplican a ese grupo de estudio. 

---

Resumiendo

Como ilustra la figura "Inferencias estadísticas según el diseño del estudio" que acompaña este artículo, en un ensayo experimental con repeticiones y asignación aleatoria de tratamientos definidos en condiciones controladas, se puede asumir que el efecto observado fue causado por el tratamiento ensayado, porque fue lo único diferente entre los individuos de los grupos. Si las unidades de estudio se seleccionaron al azar, los resultados se pueden extrapolar a la población. Si los tratamientos se aplicaron sobre unidades de estudio no seleccionadas al azar de una población, la extrapolación a la población no es posible.
Por otro lado, en un estudio observacional, donde no hay asignación de tratamientos al azar sino solo se registra lo que se observa en distintos grupos o situaciones, lo único que se puede decir es si hay asociación o no entre las variables observadas y los grupos/factores estudiados, no se puede asumir causalidad. Dependiendo si el grupo sobre el que se hicieron las observaciones fue seleccionado al azar o no, se pueden hacer inferencias al resto de la población o no.

Las inconsistencias entre el tipo de diseño del estudio y las conclusiones reportadas indican que el estudio no sería recomendable para ser usado en la toma de decisiones.

Hay veces que identificar si se trata de un estudio observacional o ensayo experimental y cómo se eligieron las unidades de estudio es fácil, hay otras veces donde es más complicado. Si de este análisis general surgen dudas sobre la metodología o se detectan inconsistencias, se deberá entrar en un análisis más detallado que requiere conocimiento específico y que no se puede generalizar. A ese nivel es necesario chequear con alguien que esté familiarizado con la evaluación de publicaciones científicas y el tema del estudio. No todos podemos saber de todos los temas, pero sí podemos conocer cómo trabaja la ciencia para poder desarrollar un mejor “ojo crítico” al momento de leer una noticia científica, un artículo o un trabajo científico que alguien nos acerque.

Independientemente de las conclusiones a las que arribemos en el análisis de un artículo en particular, un punto importante a recordar es que el consenso científico se basa en la combinación y evaluación de la bibliografía disponible. Un artículo consistente que muestre resultados que se alejan del peso de la evidencia puede plantear nuevas preguntas para seguir investigando.

 

---