Qu'est-ce que la puissance statistique ? | Statistiques

La puissance est la probabilité à long terme d'une série d'études identiques de détecter un effet statistiquement significatif (p<0,05, par exemple), le cas échéant. La probabilité d'une erreur de type 2 dans une série d'études identiques est égale à un moins la puissance (1-ß, souvent 20%).

Eg.

Cent études sont menées au sein de la même population avec la même structure traitement A vs traitement B. La véritable différence de traitement dans la vie réelle entre A et B est une chance de guérison complète de 30 % plus élevée avec le traitement A. Lorsque les statistiques sont effectuées sur ces cent études (même population, même variance, même écart-type), en moyenne environ 20 études ne montreront pas d'effet statistiquement significatif. Il s'agit du taux d'erreur de type 2, ou faux négatifs - directement lié à la puissance statistique (1-ß).

Donc, pour simplifier, une étude insuffisamment alimentée montrera moins souvent un effet statistiquement significatif, alors qu'il existe réellement une différence.

Cela influence la puissance

La puissance est influencée par plusieurs facteurs, tout comme les valeurs p.

• Taille de l'échantillon : plus grand échantillon = plus de puissance (différences plus nettes entre les groupes, moins de bruit dans les données).
• Variance : plus petite variance = plus de puissance
• Tailles d'effet : des tailles d'effet plus importantes = plus de puissance (plus facile à repérer par un test)
• Type de test statistique : certains tests sont plus puissants en échange de plus d'hypothèses (il n'y a pas de repas gratuit en statistiques).

Il est toutefois essentiel de comprendre que la puissance statistique (ex. 80%) existe pour un seul outil de mesure, pour un seul moment, pour une seule taille d'effet.

Faible puissance = étude peu fiable

Ainsi, une étude insuffisamment puissante augmente le risque d'erreurs de type 2 (faux négatifs), mais aussi le risque d'erreurs de type 1 (faux positifs), avec des effets gonflés. C'est ce qu'on appelle la "malédiction du vainqueur". C'est pourquoi il n'est tout simplement pas possible d'utiliser plusieurs mesures de résultats pour un échantillon et de les mesurer à plusieurs moments dans le temps sans que votre puissance statistique ne s'effondre. Les bons chercheurs et cliniciens savent que les mesures de résultats secondaires sont simplement suggestives parce que l'étude n'est pas alimentée pour ce nombre de mesures. Il faut de nouvelles études pour confirmer ces suggestions. Le problème décrit ci-dessus est appelé problème de comparaison multiple.

Je peux imaginer que cela semble un peu contre-intuitif. Prenons un exemple.

Eg.

Vous donnez un cours à un groupe de 200 étudiants et vous décidez de les diviser en deux groupes. L'objectif de votre étude est de déterminer s'il existe des différences entre les sexes, par exemple s'il y a plus de femmes dans un groupe que dans l'autre. Il n'y a pas de différence. Vous regardez ensuite la couleur des yeux, la couleur des cheveux, la longueur de l'index, le PR du développé-couché, la qualité de vie, l'âge, le nombre de frères et sœurs, etc. Il y a de fortes chances que vous trouviez un résultat statistiquement significatif quelque part. C'est le problème des comparaisons multiples.

Solutions

Pour éviter les études insuffisamment puissantes et le risque de faux positifs ou de faux négatifs, les chercheurs doivent planifier leurs études avec une puissance suffisante. Pour ce faire, il faut tenir compte de facteurs tels que la taille de l'échantillon, l'ampleur de l'effet, la variance et le test statistique utilisé. Les tests multiples présentent également un risque de faux positifs, qui peut être résolu par des méthodes telles que l'ajustement du niveau de signification ou le contrôle du taux de découverte erroné. En comprenant le concept de puissance statistique et son importance dans les tests d'hypothèses, les chercheurs peuvent concevoir des études qui produisent des résultats fiables et significatifs.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Tests statistiques, valeurs P, intervalles de confiance et puissance : un guide des erreurs d'interprétation. European journal of epidemiology, 31(4), 337-350. https://doi.org/10.1007/s10654-016-0149-3

Ingre M. (2013). Pourquoi les petites études à faible puissance sont pires que les grandes études à forte puissance et comment se protéger des résultats "triviaux" dans la recherche : commentaire sur Friston (2012). NeuroImage, 81, 496-498. https://doi.org/10.1016/j.neuroimage.2013.03.030

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Tests statistiques, valeurs P, intervalles de confiance et puissance : un guide des erreurs d'interprétation. European journal of epidemiology, 31(4), 337-350. https://doi.org/10.1007/s10654-016-0149-3