Taux d'erreur de type 1 - Statistiques

Le fait de tester plusieurs variables augmente le taux d'erreur de type 1 ou le taux de faux positifs. C'est ce qu'on appelle le problème des comparaisons multiples. Il n'est pas difficile de corriger cette inflation alpha. Il existe deux méthodes principales, à savoir la correction de Bonferroni et la correction de Holm.

Correction de Bonferroni

La correction de Bonferroni est simple mais assez conservatrice. Vous divisez votre niveau alpha par le nombre de tests que vous êtes sur le point d'effectuer. Il s'agit du nouveau niveau de signification. Donc, dans ce cas :

ɑ / n

ɑ : niveau alpha ou de signification

n : nombre d'essais

0.05 / 10 = 0.005

Vous pouvez donc facilement le faire vous-même lorsque vous lisez un article. Si cinq variables sont testées, vous savez que le niveau alpha devrait être d'environ 0,01 au lieu de 0,05 (0,05 / 5). Cela suppose que les chercheurs n'ont pas effectué un grand nombre de tests "en coulisses" sans en faire état. C'est ce qu'on appelle le data-dredging ou p-hacking.

Une autre méthode consiste à multiplier simplement la valeur p indiquée dans le document par le nombre de tests.

Eg.

Valeur P = 0,03

0.03 * 10 = 0.3

Cela signifie que la valeur p précédemment significative devient insignifiante si 10 variables sont testées.

Limites de la correction de Bonferroni

La correction de Bonferroni est une méthode largement utilisée pour ajuster le niveau de signification pour les comparaisons multiples afin de contrôler le taux d'erreur de type I global. Cependant, il présente plusieurs limites.

L'un des principaux problèmes est qu'elle peut être trop stricte, ce qui peut entraîner une perte de puissance statistique. En outre, elle suppose que toutes les comparaisons sont indépendantes, ce qui peut ne pas être le cas dans les données réelles, entraînant potentiellement des taux d'erreur de type II plus élevés.

Une autre limite de la correction de Bonferroni est qu'elle augmente le risque de faux négatifs ou d'erreurs de type II, ce qui signifie qu'il y a un risque plus élevé de manquer un effet réel.

Enfin, la correction de Bonferroni est plus appropriée dans les situations où le nombre de comparaisons est relativement faible, car elle peut ne pas être aussi efficace lorsque le nombre de comparaisons est très élevé. Par conséquent, les chercheurs doivent examiner attentivement l'adéquation de la correction de Bonferroni à leur question de recherche et à leur ensemble de données, et être conscients de ses limites.

Correction de Holm

Une deuxième façon de corriger l'inflation alpha est la correction de Holm. Supposons que les chercheurs aient effectué cinq tests et obtenu ainsi cinq valeurs p. Pour que la correction de Holm fonctionne, ils doivent être classés du plus bas au plus haut.

Eg.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

La formule de Holm est la suivante : 

p-value * (m + 1 - k)

m = nombre de valeurs p

k = le rang de la valeur p

Donc pour la troisième valeur p, on obtient...

0,0172 * (5 + 1 - 3) = 0,0516

... rendant les résultats insignifiants.

Limites de la correction de Holm

L'une des limites est que la correction de Holm suppose que tous les tests sont indépendants, ce qui signifie que les résultats d'un test n'affectent pas les résultats d'un autre. Toutefois, dans certains cas, les tests peuvent être dépendants, par exemple lorsqu'il s'agit de tester plusieurs résultats à partir du même échantillon ou de tester différents points dans le temps pour la même intervention. Dans ce cas, la correction de Holm peut être trop conservatrice ou trop libérale, ce qui conduit à des conclusions erronées. Une autre limite de la correction de Holm est qu'elle ne tient pas compte de la corrélation entre les tests, ce qui peut affecter le taux de faux positifs. Par exemple, si plusieurs tests sont liés au même concept sous-jacent, la probabilité de détecter un effet significatif augmente, et la correction de Holm peut ne pas en tenir compte de manière adéquate. Bien que la correction de Holm soit une méthode utile pour ajuster les valeurs p dans les tests de comparaisons multiples, il est important de tenir compte de ses limites, en particulier lorsque les tests sont dépendants ou corrélés. D'autres méthodes, telles que le contrôle du taux de fausse découverte ou les méthodes bayésiennes, peuvent être plus appropriées dans certains cas.

John Ludbrook (1998). Mise à jour des procédures de comparaison multiple. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). Tests de Bonferroni-Holm et de permutation pour comparer des données de santé : questions méthodologiques et applicatives. BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8

Lakens, D., Contrôle des erreurs de type 1 par Daniel Lakens, youtube