Errores Estadísticos a Evitar al Escribir un Artículo

La misión de la Ciencia es comprender y explicar la realidad. Pero, por las dimensiones inconmensurables de ésta, necesitamos realizar experimentos para observar lo que ocurre en situaciones controladas. Obtenemos conclusiones a raíz del análisis estadístico de nuestros datos, y la interpretación que hacemos a partir de ellos, lo cual nos permite identificar relaciones, diferencias, patrones o tendencias. De este modo, el ser humano, el investigador, podría llegar a comprender parcialmente la “Verdad”. Así pues, la estadística lejos de ser algo innecesario, como muchos piensan, resulta ser una herramienta esencial en nuestro mundo científico.

La Estadística… ese ser incomprendido

A pesar de su evidente importancia en cualquier rama de las ciencias, tanto ciencias sociales como ciencias puras, la estadística siempre ha sido como la hermana fea. No resulta popular. En la actualidad, hay muchos softwares y programas informáticos capaces de realizar complejos análisis estadísticos, por lo que algunas gentes le prestan incluso menos atención porque creen que “no necesitan entenderla ni saber aplicarla”. Sin embargo, es preciso que los investigadores tengamos unas nociones básicas de estadística para interpretar correctamente los resultados y para llegar, en definitiva, a esa verdad científica que buscamos.

Errores (tristemente) habituales

En el laboratorio de una de las autoras de este artículo, publicado en octubre de 2019, se tomó la siguiente lista como plantilla para identificar los errores más comunes relativos a los análisis estadísticos en los Journal Clubs del grupo. De hecho, los Journal Clubs son el mejor entrenamiento para reconocer estos errores. Este será, además, el primer paso para evitarlos cuando seamos nosotros los autores de los manuscritos.

Ausencia/ inadecuado grupo de control

El uso de un buen grupo de control tiene como objetivo evitar los efectos atribuibles a la propia manipulación, ya sea, por ejemplo, un procedimiento quirúrgico o la inoculación de una sustancia. Incluso, en estudios de sociología hay que minimizar el potencial efecto Hawthorn, que ya mencionamos en un artículo previo, mediante el uso de controles. Este es un error gravísimo que debilita en gran medida las conclusiones de cualquier estudio.

Interpretar comparaciones entre 2 efectos sin compararlos directamente

Otro error frecuente es el inferir que un efecto es mayor o menor en dos grupos diferentes, sin haber comparado los grupos entre sí estadísticamente. Ese efecto únicamente se puede evaluar cuando se analizan directamente ambos grupos. Generalmente, este error es consecuencia de una mala elección del análisis estadístico escogido.

“Inflación” de unidades de análisis

La unidad de análisis es “la observación más pequeña que se puede asignar de forma aleatoria e independiente, es decir, el número de valores independientes que pueden variar libremente”, como se explica en el artículo de eLife. En un estudio científico es necesario que se detallen las diferencias entre grupos y/o aclarar en qué condiciones se van a agrupar. Ocasionalmente, los investigadores modificamos ese concepto de unidad experimental, lo cual implica que las conclusiones que extraigamos de los análisis pueden implicar errores.

Correlaciones espurias

Puede decirse que una correlación espuria se da cuando aparece entre las variables una relación lineal sin que tenga necesariamente que ser así, pudiendo estar afectadas ambas variables por un tercer factor no evaluado. Las correlaciones espurias ocurren, por ejemplo, como efecto de los valores atípicos (outliers).

Uso de muestras pequeñas

El tamaño de muestra es muy importante, principalmente porque a menor tamaño de muestra, mayor probabilidad de cometer falsos negativos, esto es, el error de tipo II/error tipo β. Adicionalmente, cuando el tamaño muestral es reducido, la distribución puede no ser normal, lo cuál es importante conocer para elegir el análisis estadístico adecuado.

Análisis circular

Este es un error en el que muchos investigadores incurrimos con cierta frecuencia, por descuido. Un análisis circular es cualquier análisis en el que seleccionamos las características de los datos de manera retrospectiva. Es una forma de “manipulación” de los datos, consciente o inconscientemente, que conllevará errores en los resultados de la estadística. Es muy importante evitarlo.

“p-hacking” o flexibilidad de análisis

Es, en definitiva, otra manera de manipular los datos, tanto por modificación del p-valor como por utilizar muchos tipos diferentes de análisis para conseguir un falso positivo (recordemos que la estadística se basa fundamentalmente en la probabilidad). Consulta este enlace para entender de manera fácil y comprensiva el p-valor.

No corregir las comparaciones múltiples

Suele estar relacionado con los análisis de tipo exploratorio (como lo está, asimismo, la flexibilidad de análisis), donde se “exploran los efectos de muchas condiciones en múltiples variables”. Dado que todo análisis estadístico conlleva un error, por pequeño que éste sea, el uso de múltiples variables en análisis estadísticos se asocia con una mayor probabilidad de errores. Por ejemplo, se pueden dar lugar con relativa facilidad a tener falsos positivos (error de tipo I/error tipo α).

Sobre interpretación de los resultados no significativos

Esto se traduce en que, con el p-valor por sí solo, no se puede determinar si el hecho de no haber encontrado diferencias estadísticamente significativas es porque efectivamente, no existen, o porque hemos sido incapaces de detectarlas, por ejemplo, con un tamaño muestral insuficiente, como veíamos en el punto 5. Serían necesarios estudios posteriores para detallar porqué el resultado no es significativo.

Correlación y causalidad

Consiste en pensar que, porque dos variables estén significativamente relacionadas, una es necesariamente causa de la otra. Como en las correlaciones espurias, hay que analizar otros factores para evaluar presencia de causalidad entre dos variables correlacionadas. Correlación no implica causalidad

Algunos errores más

Hay otros errores estadísticos que aparecen con mayor o menor frecuencia en el mundo científico. Algunos de ellos son:

• Muestreo incorrecto: ya hemos mencionado los problemas de una muestra pequeña. Sin embargo, otro error es seleccionar una muestra sesgada, que no será representativa de nuestra población y, por lo tanto, no nos permitirá obtener conclusiones extrapolables al conjunto de la población.
• Ausencia de análisis estadístico/presentación inapropiada de datos: aunque cada vez menos frecuente, aún es necesario recalcar la necesidad de la estadística y su correcta presentación en los artículos científicos, para su correcta comprensión e interpretación.
• Pseudo-replicación: no es un error en sí mismo, pero está relacionado con el error número 3. Ocurre que, cuando las mediciones se replican, pero no son independientes, no pueden tratarse como tal, sino que hay que tener en cuenta la unidad experimental previamente definida.

¿A qué se deben estos errores?

Según explica uno de los autores en Nature, las causas podrían ser las siguientes:

• Se valora mucho más el número de publicaciones y resultados positivos que el rigor. Un artículo con resultados negativos tiene pocas posibilidades de ser publicado, lo que puede hacer que los investigadores traten de obtener resultados positivos a toda costa.
• Asumir que la ciencia sólida y potente es atractiva. En ocasiones serían necesarios artículos más largos, para explicar todas las herramientas utilizadas, además de la metodología, en análisis estadísticos, réplicas etc. Pero desde luego, esto no sería “sexy” para el lector.
• Decir al autor que se ha equivocado no es algo agradable, especialmente cuando el trabajo ha sido ya aceptado.

En mi humilde opinión, estos razonamientos obvian algo fundamental, que es la ética en el trabajo de los propios investigadores. Pero, opiniones aparte, ¿qué podemos hacer para no cometer estos errores?

Estrategia para no cometer errores estadísticos

• Formación e información: a pesar de que no es imprescindible saber cuáles son los cálculos exactos de la estadística, sí es muy necesario conocer en qué consisten y cuáles son los análisis estadísticos más apropiados para cada caso. Es nuestra responsabilidad conocer las herramientas de las que disponemos, y ser capaces de elegir la más adecuada y la más coherente con nuestras investigaciones.
• Buen diseño experimental: primero, debemos establecer nuestras preguntas científicas y cómo las vamos a responder. Es imprescindible saber cuáles serán nuestros grupos problema y de control, definir claramente las unidades experimentales en cada caso, determinar el tamaño muestral necesario para alcanzar nuestras conclusiones, determinar cuáles serán las variables a analizar y cómo se van a analizar.
• Análisis cauteloso: la obtención de datos atípicos (outliers) puede resultar problemática. Es necesario tratar estos datos con cautela y no eliminarlos ni obviarlos a la ligera. Ante correlaciones de supuesta causalidad, es muy necesario considerar nuevas variables en el primer caso.
• Interpretación transparente: la eliminación ve valores atípicos (outliers), y las comparaciones múltiples deben ser claramente explicadas en el manuscrito y justificadas. Asimismo, debemos recordar que la interpretación de los datos no significativos conllevaría análisis extra si queremos determinar la causa de su no significación.

Conclusiones

El análisis estadístico es determinante en la interpretación de los resultados obtenidos en Ciencia y, por lo tanto, es de suma importancia que los investigadores nos formemos e informemos sobre ellos y evitemos errores que darían lugar a conclusiones inciertas y que nos alejarían, contra nuestra voluntad, de la “Verdad científica” a la que tanto aspiramos.