Qu'est-ce que le P-Hacking ? | Statistiques

P-hacking est un terme utilisé pour décrire diverses techniques que les chercheurs peuvent utiliser pour augmenter les chances de trouver des résultats statistiquement significatifs dans leur étude, même si les résultats ne sont pas réellement significatifs. Il s'agit d'une forme de manipulation des données qui peut conduire à la publication de résultats faussement positifs.

Eg.

Dans une étude qui compare l'efficacité de deux interventions physiothérapeutiques différentes pour les douleurs de l'épaule liées à la coiffe des rotateurs, un chercheur peut effectuer plusieurs analyses des données, en ne rapportant que celles qui montrent une différence statistiquement significative entre les deux interventions. Il s'agit d'un piratage du p car le chercheur ne rapporte sélectivement que les résultats qui confirment son hypothèse et ignore ceux qui ne le font pas.

Comparaisons multiples non ajustées

Un autre exemple de p-hacking dans la recherche en physiothérapie est lorsqu'un chercheur effectue des comparaisons multiples entre différentes interventions mais n'ajuste pas ces comparaisons multiples. Cela peut augmenter le risque de trouver des résultats statistiquement significatifs par hasard, même si les interventions ne sont pas vraiment différentes.

En supprimant sélectivement certaines des données, le chercheur "pirate" effectivement les résultats, car il augmente la probabilité de trouver une différence statistiquement significative entre les deux interventions, même s'il n'y a pas de différence réelle. Le chercheur peut alors présenter les données comme s'il s'agissait d'une comparaison équitable, ce qui peut conduire à des conclusions inexactes et induire en erreur les recherches et traitements futurs. Ce n'est qu'une des façons de le faire.

Non intentionnel

Il est essentiel de noter que le piratage peut se produire accidentellement et découler du manque de connaissances statistiques d'un chercheur ou de la pression qu'il subit pour publier des résultats prometteurs. Mais il peut aussi s'agir d'un choix fait consciemment dans un but précis. Les chercheurs doivent enregistrer au préalable leur plan d'étude et leur plan analytique, rendre compte de tous les résultats et appliquer les techniques statistiques appropriées pour tenir compte des comparaisons multiples afin d'éviter le p-hacking. Afin de renforcer la confiance dans les résultats, des études de réplication et une réplication indépendante des résultats peuvent également être utilisées.

En savoir plus sur l'enregistrement préalable au procès

L'enregistrement préalable à l'essai, qui comprend la soumission de détails complets concernant la conception de la recherche, les interventions, les résultats et le plan d'analyse, est le processus d'enregistrement d'un essai clinique avant qu'il ne commence. Cette procédure est considérée comme cruciale pour renforcer l'ouverture et minimiser les biais dans la recherche clinique. Les chercheurs s'engagent à respecter un ensemble d'objectifs et de procédures en enregistrant publiquement une étude avant qu'elle ne soit réalisée, ce qui peut contribuer à empêcher la communication sélective des résultats et la falsification des données. L'enregistrement préalable au procès facilite également l'accès aux données sur les essais en cours et achevés et évite la redondance des efforts de recherche. Les essais enregistrés ont plus de chances d'être publiés, ce qui peut réduire le biais de publication et garantir que les résultats de l'étude sont disponibles pour être utilisés dans la pratique clinique et l'élaboration des politiques. L'enregistrement préalable à l'essai est une étape importante pour garantir que la recherche clinique est menée de manière transparente et rigoureuse, ce qui permet d'obtenir des résultats plus fiables et plus utiles.

Gelman, A., et Loken, E. (2019). Le jardin des chemins qui bifurquent : Pourquoi les comparaisons multiples peuvent être un problème, même lorsqu'il n'y a pas de " fishing expedition " ou de " p-hacking " et que l'hypothèse de recherche a été posée à l'avance ∗.

Daniele Fanelli (2012). Les résultats négatifs disparaissent de la plupart des disciplines et des pays. Le rapport de la Commission européenne sur l'état de l'environnement, 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). La valeur du pré-enregistrement pour la science psychologique : Une analyse conceptuelle. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). Le taux de fausse découverte positive : une interprétation bayésienne et la valeur q. Les annales de la statistique, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Degrés de liberté dans la planification, l'exécution, l'analyse et le compte rendu des études psychologiques : Une liste de contrôle pour éviter le piratage. Frontiers in Psychology, 7.