¿Qué es el problema de la comparación múltiple? | Estadísticas

El problema de la comparación múltiple es el que surge cuando se realizan varias pruebas con la misma muestra. Un ejemplo lo ilustrará.

Ej.

Supongamos que en un estudio se analizan los factores de riesgo prospectivos de sufrir lesiones al correr en 5.000 corredores principiantes. Se prueban distintas variables, ya que aún no sabemos cuáles aumentarán el riesgo. Algunos ejemplos son: volumen de carrera, caída navicular, ángulo q, fuerza de cuádriceps y glúteos, patrón de golpe de talón frente a antepié, calzado minimalista frente a maximalista y ROM de dorsiflexión del tobillo.

Falsos positivos con comparación múltiple

La mayoría de los investigadores aceptan una tasa de falsos positivos del 5%, el nivel alfa o de significación. Esto es para una variable dada como la fuerza de los cuádriceps. Significa que si este estudio se realiza cien veces, unos 5 estudios mostrarán un resultado falso positivo, cuando en realidad no hay ninguno.

Sin embargo, los investigadores analizan diez variables, no sólo la fuerza de los cuádriceps, dentro de la misma muestra. Esto plantea un problema.

Los investigadores, ajenos a este problema, llevan a cabo el ensayo. Dos años después, los datos muestran que el patrón de golpe de talón y la fuerza de los glúteos son un factor de riesgo de lesión al correr. ¡Estupendo! Esa es la conclusión y el artículo se publica.

Como ya se ha señalado, el nivel de significación del 5% no significa que haya una tasa de falsos positivos del 5% en este momento, debido a la plétora de variables diferentes que se están investigando. Así que los investigadores aceptaron implícitamente un riesgo mucho mayor de resultados falsos positivos al realizar el ensayo, analizando diez variables.

La tasa de error por familias así lo demuestra. Con un cálculo bastante sencillo, podemos comprobar la tasa de falsos positivos, ¡es del 40%! La fórmula se muestra a continuación.

Soluciones al problema de la comparación múltiple

Creo que estamos de acuerdo en que esto constituye un problema. ¿Qué vamos a hacer al respecto? Hay una solución. Los investigadores pueden hacer correcciones para contrarrestar esta inflación alfa mediante una corrección de Bonferroni o de Holm. Esto se trata en "Control de la tasa de error de tipo 1".

Fórmula de la tasa de error por familias:

1 - (1 - ɑ)x

ɑ: alfa o nivel de significación en decimales

x: número de pruebas

Errores de tipo II

Sin embargo, ajustar el nivel de significación de cada prueba individual puede aumentar la probabilidad de cometer un error de tipo II (falso negativo) en todas las pruebas. Esto se debe a que el nivel de significación más estricto reduce la potencia de cada prueba individual para detectar un efecto o relación verdaderos. En consecuencia, en algunas pruebas puede pasar desapercibido un efecto significativo, lo que da lugar a resultados falsos negativos. Para evitar resultados falsos negativos debidos al problema de las comparaciones múltiples, podemos utilizar técnicas como el registro previo de hipótesis, estudios de replicación o métodos estadísticos más potentes como la inferencia bayesiana. Además, es importante diseñar cuidadosamente el estudio y las hipótesis que se someten a prueba para minimizar el número de pruebas realizadas y garantizar que sean significativas y pertinentes para la pregunta de investigación.

Wason, J. M. S., y Robertson, D. S. (2021). Control de las tasas de error de tipo I en ensayos clínicos con múltiples brazos: Un caso para la tasa de falsos descubrimientos. Estadísticas farmacéuticas, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Pruebas múltiples. Parte I. Procedimientos de un solo paso para el control de las tasas generales de error de tipo I. Aplicaciones estadísticas en genética y biología molecular, 3, Artículo13.

Lakens, D., Control de errores de tipo 1 por Daniel Lakens, youtube

John Ludbrook (1998). PROCEDIMIENTOS DE COMPARACIÓN MÚLTIPLE ACTUALIZADOS. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x