Vad är P-Hacking? | Statistik

P-hacking är en term som används för att beskriva olika tekniker som forskare kan använda för att öka chanserna att hitta statistiskt signifikanta resultat i sin studie, även om resultaten egentligen inte är meningsfulla. Detta är en form av datamanipulation som kan leda till att falskt positiva resultat publiceras.

Eg.

I en studie där man jämför effekten av två olika sjukgymnastiska behandlingar för smärta i axeln som är relaterad till rotatorkuffen kan en forskare genomföra flera analyser av data och endast rapportera de analyser som visar en statistiskt signifikant skillnad mellan de två behandlingarna. Detta är p-hacking eftersom forskaren selektivt rapporterar endast de resultat som stöder hypotesen och ignorerar de som inte gör det.

Multipla ojusterade jämförelser

Ett annat exempel på p-hacking inom fysioterapiforskning är när en forskare genomför multipla jämförelser mellan olika interventioner men inte justerar för dessa multipla jämförelser. Detta kan leda till en ökad risk för att statistiskt signifikanta resultat uppnås av en slump, även om insatserna inte är helt olika.

Genom att selektivt ta bort en del av uppgifterna "p-hackar" forskaren effektivt resultaten, eftersom det ökar sannolikheten för att hitta en statistiskt signifikant skillnad mellan de två interventionerna, även om det inte finns någon verklig skillnad. Forskaren kan då presentera uppgifterna som om det vore en rättvis jämförelse, vilket kan leda till felaktiga slutsatser och vilseleda framtida forskning och behandling. Detta är bara ett av flera sätt att göra det på.

Oavsiktlig

Det är viktigt att notera att P-hacking kan ske av misstag och bero på forskarens brist på statistisk kunskap eller pressen att publicera lovande resultat. Men det kan också vara ett val som görs medvetet med ett mål i sikte. Forskare bör i förväg registrera sin studiedesign och analysplan, rapportera alla resultat och tillämpa lämpliga statistiska tekniker för att ta hänsyn till multipla jämförelser för att förhindra p-hacking. För att öka tilltron till resultaten kan även replikationsstudier och oberoende replikering av resultaten användas.

Mer om registrering före rättegång

Pre-trial registration, som innebär att man lämnar in omfattande information om forskningsdesign, interventioner, resultat och analysplan, är en process där en klinisk prövning registreras innan den startar. Detta förfarande anses vara avgörande för att öka öppenheten och minimera partiskhet i klinisk forskning. Forskare förbinder sig till en uppsättning mål och förfaranden genom att offentligt registrera en studie innan den genomförs, vilket kan bidra till att förhindra selektiv rapportering av resultat och dataförfalskning. Registrering före rättegång gör det också lättare att få tillgång till uppgifter om pågående och avslutade rättegångar och förhindrar överflödiga forskningsinsatser. Registrerade prövningar är mer benägna att publiceras, vilket kan minska publikationsbias och säkerställa att resultaten av studien finns tillgängliga för användning i klinisk praxis och beslutsfattande. Registrering före prövning är ett viktigt steg mot att säkerställa att klinisk forskning bedrivs på ett transparent och rigoröst sätt, vilket leder till mer tillförlitliga och användbara resultat.

Gelman, A., & Loken, E. (2019). Trädgården med förgrenade stigar : Varför multipla jämförelser kan vara ett problem , även om det inte är fråga om någon "fiskeexpedition" eller "p-hacking" och forskningshypotesen var formulerad i förväg ∗.

Daniele Fanelli (2012). Negativa resultat håller på att försvinna från de flesta discipliner och länder. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Värdet av förhandsregistrering för psykologisk vetenskap: En konceptuell analys. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). Den positiva falska upptäcktsfrekvensen: en bayesiansk tolkning och q-värdet. The annals of statistics, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Grader av frihet vid planering, genomförande, analys och rapportering av psykologiska studier: En checklista för att undvika p-hacking. Gränser i psykologi, 7.