Tasa de error de tipo 1 | Estadísticas

Probar múltiples variables infla la tasa de error de tipo 1 o la tasa de falsos positivos. Esto se denomina problema de comparación múltiple. Corregir esta inflación alfa no es difícil. Existen dos formas principales, a saber, la corrección de Bonferroni y la corrección de Holm.

Corrección de Bonferroni

La corrección de Bonferroni es sencilla pero bastante conservadora. Se divide el nivel alfa por el número de pruebas que se van a realizar. Este será el nuevo nivel de significación. Así que en este caso:

ɑ / n

ɑ: alfa o nivel de significación

n: número de pruebas

0.05 / 10 = 0.005

Por lo tanto, puede hacerlo usted mismo con bastante facilidad al leer un documento. Si se prueban cinco variables, sabrá que el nivel alfa debe ser aproximadamente 0,01 en lugar de 0,05 (0,05 / 5). Todo ello bajo el supuesto de que los investigadores no realizaran un montón de pruebas "entre bastidores" mientras no informaban de ellas. Esto se denomina "data-dredging" o "p-hacking".

Otra forma es simplemente multiplicando el valor p del documento por el número de pruebas.

Ej.

Valor P = 0,03

0.03 * 10 = 0.3

Esto significa que el valor p que antes era significativo pasa a ser insignificante si se prueban 10 variables.

Limitaciones de la corrección de Bonferroni

La corrección de Bonferroni es un método ampliamente utilizado para ajustar el nivel de significación de las comparaciones múltiples con el fin de controlar la tasa global de errores de tipo I. Sin embargo, tiene varias limitaciones.

Uno de los principales problemas es que puede ser demasiado estricto, lo que puede provocar una pérdida de potencia estadística. Además, asume que todas las comparaciones son independientes, lo que puede no ser el caso en los datos del mundo real, llevando potencialmente a mayores tasas de error de Tipo II.

Otra limitación de la corrección de Bonferroni es que aumenta la probabilidad de falsos negativos o errores de tipo II, lo que significa que hay una mayor probabilidad de pasar por alto un efecto verdadero.

Por último, la corrección de Bonferroni es más apropiada para situaciones en las que el número de comparaciones es relativamente pequeño, ya que puede no ser tan eficaz cuando el número de comparaciones es muy grande. Por lo tanto, los investigadores deben considerar cuidadosamente la idoneidad de la corrección de Bonferroni para su pregunta de investigación y conjunto de datos, y ser conscientes de sus limitaciones.

Corrección de Holm

Una segunda forma de corregir la inflación alfa es la corrección de Holm. Digamos que los investigadores hicieron cinco pruebas y, por tanto, se convirtieron en cinco valores p. Para que la corrección de Holm funcione, deben ordenarse de menor a mayor.

Ej.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

La fórmula de Holm es la siguiente: 

valor p * (m + 1 - k)

m = número de valores p

k = el rango del valor p

Así que para el tercer valor p obtenemos...

0,0172 * (5 + 1 - 3) = 0,0516

... haciendo que los resultados sean insignificantes.

Limitaciones de la corrección de Holm

Una limitación es que la corrección de Holm supone que todas las pruebas son independientes, lo que significa que los resultados de una prueba no afectan a los resultados de otra. Sin embargo, en algunos casos, las pruebas pueden ser dependientes, como cuando se prueban múltiples resultados de la misma muestra o cuando se prueban diferentes puntos temporales de la misma intervención. En estos casos, la corrección de Holm puede ser demasiado conservadora o demasiado liberal, lo que lleva a conclusiones incorrectas. Otra limitación de la corrección de Holm es que no tiene en cuenta la correlación entre las pruebas, lo que puede afectar a la tasa de falsos positivos. Por ejemplo, si varias pruebas están relacionadas con el mismo constructo subyacente, la probabilidad de detectar un efecto significativo aumenta, y es posible que la corrección de Holm no lo tenga en cuenta adecuadamente. Aunque la corrección de Holm es un método útil para ajustar los valores p en las pruebas de comparación múltiple, es importante tener en cuenta sus limitaciones, sobre todo cuando las pruebas son dependientes o están correlacionadas. Otros métodos, como el control de la tasa de falsos descubrimientos o los métodos bayesianos, pueden ser más apropiados en algunos casos.

John Ludbrook (1998). Actualización de los procedimientos de comparación múltiple. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). Pruebas de Bonferroni-Holm y de permutación para comparar datos sanitarios: cuestiones metodológicas y de aplicación. BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8

Lakens, D., Control de errores de tipo 1 por Daniel Lakens, youtube