Cos'è il P-Hacking? | Statistiche

P-hacking è un termine utilizzato per descrivere varie tecniche che i ricercatori possono utilizzare per aumentare le probabilità di trovare risultati statisticamente significativi nei loro studi, anche se i risultati non sono effettivamente significativi. Si tratta di una forma di manipolazione dei dati che può portare alla pubblicazione di risultati falsi positivi.

Eg.

In uno studio che confronta l'efficacia di due diversi interventi fisioterapici per il dolore alla spalla correlato alla cuffia dei rotatori, un ricercatore può condurre analisi multiple dei dati, riportando solo quelle che mostrano una differenza statisticamente significativa tra i due interventi. Si tratta di p-hacking perché il ricercatore riporta selettivamente solo i risultati che supportano la sua ipotesi, ignorando quelli che non la supportano.

Confronti multipli non aggiustati

Un altro esempio di p-hacking nella ricerca fisioterapica si ha quando un ricercatore conduce confronti multipli tra interventi diversi, ma non aggiusta questi confronti multipli. Questo può portare a una maggiore probabilità di trovare risultati statisticamente significativi per caso, anche se gli interventi non sono realmente diversi.

Rimuovendo selettivamente alcuni dei dati, il ricercatore sta effettivamente "p-hackerando" i risultati, in quanto aumenta la probabilità di trovare una differenza statisticamente significativa tra i due interventi, anche se non c'è alcuna differenza reale. Il ricercatore potrebbe quindi presentare i dati come se si trattasse di un confronto equo, il che può portare a conclusioni imprecise e fuorviare ricerche e trattamenti futuri. Questo è solo uno dei modi per farlo.

Non intenzionale

È fondamentale notare che il P-hacking può avvenire accidentalmente e può derivare dalla mancanza di conoscenze statistiche di un ricercatore o dalla pressione di pubblicare risultati promettenti. Tuttavia, può anche essere una scelta fatta consapevolmente con un obiettivo in mente. I ricercatori devono registrare in anticipo il disegno dello studio e il piano analitico, riportare tutti i risultati e applicare le tecniche statistiche corrette per tenere conto dei confronti multipli al fine di prevenire il p-hacking. Per aumentare la fiducia nei risultati, si può ricorrere anche a studi di replica e a repliche indipendenti dei risultati.

Ulteriori informazioni sulla registrazione pre-processuale

La registrazione pre-sperimentale, che comprende l'invio di dettagli completi sul disegno di ricerca, gli interventi, gli esiti e il piano di analisi, è il processo di registrazione di uno studio clinico prima del suo inizio. Questa procedura è considerata fondamentale per migliorare l'apertura e ridurre al minimo i pregiudizi nella ricerca clinica. I ricercatori si impegnano a rispettare una serie di obiettivi e procedure registrando pubblicamente uno studio prima della sua realizzazione, il che può aiutare a prevenire la comunicazione selettiva dei risultati e la manomissione dei dati. La registrazione pre-procedura facilita inoltre l'accesso ai dati relativi alle sperimentazioni in corso e a quelle già concluse ed evita la ridondanza degli sforzi di ricerca. Gli studi registrati hanno maggiori probabilità di essere pubblicati, il che può ridurre i bias di pubblicazione e garantire che i risultati dello studio siano disponibili per l'uso nella pratica clinica e nella definizione delle politiche. La registrazione pre-sperimentale è un passo importante per garantire che la ricerca clinica sia condotta in modo trasparente e rigoroso, portando a risultati più affidabili e utili.

Gelman, A. e Loken, E. (2019). Il giardino dei sentieri che si biforcano: Perché i confronti multipli possono essere un problema, anche quando non ci sono "fishing expedition" o "p-hacking" e l'ipotesi di ricerca è stata formulata in anticipo ∗.

Daniele Fanelli (2012). I risultati negativi stanno scomparendo dalla maggior parte delle discipline e dei Paesi. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Il valore della pre-registrazione per le scienze psicologiche: Un'analisi concettuale. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). Il tasso di falsa scoperta positiva: un'interpretazione bayesiana e il valore q. Annali della statistica, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Gradi di libertà nella pianificazione, nella conduzione, nell'analisi e nel reporting degli studi psicologici: Una lista di controllo per evitare il p-hacking. Frontiere della psicologia, 7.