Qu'est-ce qu'une valeur P ? | Statistiques

En termes simples, la valeur p exprime le degré de surprise des données, en supposant qu'il n'y ait pas d'effet. Plus la valeur p est faible, plus les données semblent incompatibles avec votre modèle (c'est-à-dire l'hypothèse de l'absence d'effet).

Eg.

Le traitement A est comparé au traitement B, vous supposez qu'il n'y a pas d'effet ou de différence ; vous vous attendez à ce que l'hypothèse nulle soit correcte. Vous effectuez le test et obtenez une valeur p de 0,02. Cela signifie que les données que vous avez recueillies sont plutôt surprenantes, étant donné que vous avez supposé que les groupes ne différaient pas.

La valeur p existe pour se protéger du hasard. Si vous réalisez une étude, il y a de fortes chances que les effets que vous observez ne soient qu'aléatoires - ou bruit de données, comme nous l'appelons. C'est pourquoi vous pouvez observer des différences notables dans les valeurs moyennes entre les groupes, mais aucun effet statistiquement significatif. Cela peut aussi aller dans l'autre sens. Une étude peut donner un résultat non significatif, mais il peut y avoir un effet réel, peut-être parce que la taille de l'échantillon est simplement trop petite.

Qu'est-ce qui influence la valeur p ?

Les valeurs P sont influencées par différents facteurs : la taille de l'échantillon, l'ampleur de l'effet et le type de test avec ses hypothèses.

• Taille de l'échantillon : plus le groupe est important, plus vous obtiendrez rapidement des résultats statistiquement significatifs pour des différences minimes, et vice versa.
• Taille de l'effet : plus la taille de l'effet est importante, plus vous obtiendrez rapidement des résultats statistiquement significatifs, même avec de petits groupes, et vice versa.
• Type de test : un test devient plus sensible aux différences avec certaines hypothèses concernant, par exemple, la distribution des données, l'indépendance des mesures, l'homoscédasticité, l'unilatéral ou le bilatéral, l'intergroupe ou l'intragroupe, etc.

Eg. 

Une vaste étude peut trouver des résultats statistiquement significatifs, même avec le plus petit des effets. Ces effets peuvent ne rien vouloir dire. C'est là que la signification clinique entre en jeu. L'étude originale sur la pénicilline a utilisé un échantillon minuscule pour que les données montrent que les effets sur l'élimination des bactéries sont énormes.

Valeur P <0,05 seuil

Le seuil de signification statistique utilisé par la plupart des chercheurs (p < 0,05) est tout simplement arbitraire. Tout bien considéré, il devrait changer en fonction de la configuration de votre étude. Si vous ne voulez vraiment pas de résultats faussement positifs (par exemple, une décision de subir une opération potentiellement mortelle), vous avez besoin d'un nombre seuil bas. Si vous ne voulez vraiment pas de faux négatifs (par exemple, pour diagnostiquer des tumeurs agressives), vous avez besoin d'uneétude de grande puissance avec un seuil de valeur p plus élevé. Cela illustre la relation entre les erreurs de type 1 (α) et de type 2 (ß).

Notez que la valeur p est dérivée des données, et non de la théorie. Vous ne pouvez pas "prouver" votre théorie avec un effet statistiquement significatif. La seule chose que vous pouvez faire est d'essayer de réfuter votre théorie avec différentes études, si elle tient, votre théorie tient. C'est de la falsification.

Idées fausses sur la valeur p

Voici quelques idées reçues sur la valeur p dans le domaine de la recherche médicale :

• Une valeur p significative signifie que l'effet ou l'association est important ou cliniquement significatif.
  • Laréalité: La valeur p indique seulement la probabilité d'obtenir le résultat observé ou plus extrême sous l'hypothèse nulle. Elle ne fournit pas d'informations sur l'ampleur ou la signification clinique de l'effet ou de l'association.
• Une valeur p non significative signifie qu'il n'y a pas d'effet ou d'association.
  • Laréalité: Une valeur p non significative indique seulement que le résultat observé n'est pas statistiquement significatif, mais ne signifie pas nécessairement qu'il n'y a pas d'effet ou d'association. Elle peut être due à une faible puissance statistique ou à d'autres facteurs tels qu'une erreur de mesure ou des variables confusionnelles.
• Une valeur p de 0,05 est un seuil universel de signification statistique.
  • Laréalité: Le choix du niveau de signification dépend du contexte et doit être basé sur des facteurs tels que la conception de l'étude, la taille de l'échantillon et les conséquences d'une erreur de type I. Un niveau de signification inférieur peut être approprié dans certaines situations, par exemple dans les études comportant des comparaisons multiples ou des enjeux importants.
• Une valeur p significative prouve l'existence d'un lien de causalité.
  • Laréalité: La signification statistique indique seulement la probabilité d'obtenir le résultat observé ou un résultat plus extrême sous l'hypothèse nulle. Elle ne permet pas d'établir un lien de causalité, qui nécessite des preuves supplémentaires provenant de la conception de l'étude, de la plausibilité biologique et d'autres facteurs.
• Un échantillon de grande taille conduit toujours à une valeur p significative.
  • Laréalité: Un échantillon de grande taille augmente le pouvoir de détection d'un effet ou d'une association, mais ne garantit pas une valeur p significative. L'ampleur de l'effet, la variabilité et d'autres facteurs jouent également un rôle dans la détermination de la signification statistique.

Elkins, M. R., Pinto, R. Z., Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, J. M., Agarwal, S., Jette, A., Karstens, S., Harms, M., Verheyden, G., & Sheikh, U. (2022). Inférence statistique par l'estimation : recommandations de la Société internationale des rédacteurs de journaux de physiothérapie. The Journal of manual & manipulative therapy, 30(3), 133-138.
Neyman, J. et Pearson, E.S. (1928) Sur l'utilisation et l'interprétation de certains critères de test à des fins d'inférence statistique. Biometrika, 20A, 175-240.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Tests statistiques, valeurs P, intervalles de confiance et puissance : un guide des erreurs d'interprétation. European journal of epidemiology, 31(4), 337-350.

Kamper S. J. (2019). Interprétation des résultats 2 - Signification statistique et signification clinique : Relier les preuves à la pratique. The Journal of orthopaedic and sports physical therapy, 49(7), 559-560. 

Karl Popper, Conjectures et réfutations, Londres : Routledge et Keagan Paul, 1963, pp. 33-39 ; de Theodore Schick, éd. Readings in the Philosophy of Science, Mountain View, CA : Mayfield Publishing Company, 2000, pp. 9-13

Christley, R.M. (2010). Pouvoir et erreur : Risque accru de résultats faussement positifs dans les études sous-puissantes. The Open Epidemiology Journal, 3, 16-19.

Fleming A. On the Antibacterial Action of Cultures of a Penicillium, with Special Reference to their Use in the Isolation of B. influenzæ. Br J Expathol. 1929 Jun;10(3):226-36. PMCID : PMC2048009.

Erickson, R. A., et Rattner, B. A. (2020). Aller au-delà de p < 0,05 en écotoxicologie : Un guide pour les praticiens. Environmental toxicology and chemistry, 39(9), 1657-1669.