Qu'est-ce que le problème de la comparaison multiple ? | Statistiques

Le problème de la comparaison multiple est le problème qui se pose lorsque plusieurs tests sont effectués sur le même échantillon. Un exemple illustrera ce propos.

Eg.

Disons qu'une étude porte sur les facteurs de risque prospectifs de blessures liées à la course à pied chez 5 000 coureurs débutants. Différentes variables sont testées, car nous ne savons pas encore quelles sont celles qui augmentent le risque. Par exemple : le volume de course, l'abaissement de l'os naviculaire, l'angle q, la force des quadriceps et des fessiers, le schéma de frappe du talon par rapport à celui de l'avant-pied, les chaussures minimalistes par rapport aux chaussures maximalistes, et la ROM de dorsiflexion de la cheville.

Faux positifs en cas de comparaison multiple

La plupart des chercheurs acceptent un taux de faux positifs de 5 %, le niveau alpha ou niveau de signification. Ceci pour une variable donnée comme la force des quadriceps. Cela signifie que si cette étude est menée une centaine de fois, environ 5 études montreront un résultat faussement positif, alors qu'en fait, il n'y en a pas.

Cependant, les chercheurs étudient dix variables, et pas seulement la force des quadrupèdes, au sein d'un même échantillon. Cela pose un problème.

Les chercheurs, à l'insu de ce problème, mènent l'essai. Deux ans plus tard, les données sont disponibles et montrent que le schéma de frappe du talon et la force des fessiers constituent un facteur de risque de blessure en course à pied. Excellent ! C'est la conclusion et l'article est publié.

Comme indiqué précédemment, le niveau de signification de 5 % ne signifie pas qu'il existe un taux de faux positifs de 5 % à ce stade, en raison de la pléthore de variables différentes qui font l'objet de recherches. Les chercheurs ont donc implicitement accepté un risque beaucoup plus élevé de résultats faussement positifs en menant l'essai, en examinant dix variables.

Le taux d'erreur par famille le démontre. Avec un calcul assez simple, nous pouvons vérifier le taux de faux positifs, il est de 40% ! La formule est présentée ci-dessous.

Solutions au problème de la comparaison multiple

Je pense que nous sommes d'accord pour dire que cela pose un problème. Qu'allons-nous donc faire ? Il existe une solution. Les chercheurs peuvent effectuer des corrections pour contrer cette inflation alpha en procédant à une correction de Bonferroni ou de Holm. Ce point est abordé dans la section "Contrôle du taux d'erreur de type 1".

Formule du taux d'erreur par famille :

1 - (1 - ɑ)x

ɑ : alpha ou niveau de signification en décimales

x : nombre d'essais

Erreurs de type II

Cependant, l'ajustement du niveau de signification de chaque test individuel peut augmenter la probabilité de commettre une erreur de type II (faux négatif ) sur l'ensemble des tests. En effet, le niveau de signification plus strict réduit la capacité de chaque test individuel à détecter un effet ou un lien réel. Par conséquent, certains tests peuvent passer à côté d'un effet significatif, ce qui entraîne des résultats faussement négatifs. Pour éviter les résultats faussement négatifs dus au problème des comparaisons multiples, nous pouvons utiliser des techniques telles que le pré-enregistrement des hypothèses, les études de réplication ou des méthodes statistiques plus puissantes telles que l'inférence bayésienne. En outre, il est important de concevoir soigneusement l'étude et les hypothèses testées afin de minimiser le nombre de tests effectués et de s'assurer qu'ils sont significatifs et pertinents par rapport à la question de recherche.

Wason, J. M. S., & Robertson, D. S. (2021). Contrôle des taux d'erreur de type I dans les essais cliniques à plusieurs bras : Un cas pour le taux de fausse découverte. Statistiques pharmaceutiques, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Tests multiples. Partie I. Procédures en une seule étape pour le contrôle des taux d'erreurs générales de type I. Statistical applications in genetics and molecular biology, 3, Article13.

Lakens, D., Contrôle des erreurs de type 1 par Daniel Lakens, youtube

John Ludbrook (1998). MISE À JOUR DES PROCÉDURES DE COMPARAISON MULTIPLE. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x