Was ist P-Hacking? | Statistik

P-Hacking ist ein Begriff, der verschiedene Techniken beschreibt, mit denen Forscher die Wahrscheinlichkeit erhöhen können, in ihrer Studie statistisch signifikante Ergebnisse zu finden, auch wenn die Ergebnisse eigentlich nicht aussagekräftig sind. Dies ist eine Form der Datenmanipulation, die zur Veröffentlichung von falsch positiven Ergebnissen führen kann.

Beispiel.

In einer Studie, in der die Wirksamkeit von zwei verschiedenen physiotherapeutischen Maßnahmen zur Behandlung von Schulterschmerzen im Zusammenhang mit der Rotatorenmanschette verglichen wird, kann ein Forscher mehrere Analysen der Daten durchführen und nur diejenigen auswerten, die einen statistisch signifikanten Unterschied zwischen den beiden Maßnahmen ergeben. Das ist p-hacking, denn der Forscher berichtet selektiv nur über die Ergebnisse, die seine Hypothese stützen, und ignoriert die, die das nicht tun.

Mehrere nicht bereinigte Vergleiche

Ein weiteres Beispiel für p-hacking in der physiotherapeutischen Forschung ist, wenn ein Forscher mehrere Vergleiche zwischen verschiedenen Interventionen durchführt, aber keine Anpassung für diese Mehrfachvergleiche vornimmt. Dadurch erhöht sich die Wahrscheinlichkeit, dass zufällig statistisch signifikante Ergebnisse gefunden werden, selbst wenn sich die Interventionen nicht wirklich unterscheiden.

Durch das selektive Entfernen einiger Daten wird die Wahrscheinlichkeit erhöht, dass ein statistisch signifikanter Unterschied zwischen den beiden Interventionen gefunden wird, auch wenn es keinen wirklichen Unterschied gibt. Der Forscher könnte dann die Daten so darstellen, als ob es sich um einen fairen Vergleich handeln würde, was zu ungenauen Schlussfolgerungen führen und künftige Forschungen und Behandlungen in die Irre führen kann. Dies ist nur eine der Möglichkeiten, dies zu tun.

Unbeabsichtigt

Es ist von entscheidender Bedeutung, dass P-Hacking unbeabsichtigt geschehen kann und aus dem Mangel an statistischen Kenntnissen eines Forschers oder dem Druck, vielversprechende Ergebnisse zu veröffentlichen, resultieren kann. Es kann aber auch eine bewusste Entscheidung mit einem Ziel vor Augen sein. Forscher sollten ihr Studiendesign und ihren Analyseplan im Voraus registrieren, alle Ergebnisse melden und die richtigen statistischen Techniken anwenden, um Mehrfachvergleiche zu berücksichtigen, um p-hacking zu verhindern. Um das Vertrauen in die Ergebnisse zu stärken, können auch Replikationsstudien und unabhängige Replikationen der Ergebnisse durchgeführt werden.

Mehr über die vorgerichtliche Registrierung

Die Vorregistrierung, die die Einreichung umfassender Angaben zum Forschungsdesign, zu den Interventionen, den Ergebnissen und dem Analyseplan umfasst, ist der Prozess der Registrierung einer klinischen Prüfung vor deren Beginn. Dieses Verfahren wird als entscheidend für die Verbesserung der Offenheit und die Minimierung von Verzerrungen in der klinischen Forschung angesehen. Forscher verpflichten sich zu einer Reihe von Zielen und Verfahren, indem sie eine Studie vor ihrer Durchführung öffentlich registrieren, was dazu beitragen kann, eine selektive Berichterstattung über Ergebnisse und Datenmanipulationen zu verhindern. Die Registrierung im Vorfeld von Studien erleichtert auch den Zugang zu Daten über laufende und abgeschlossene Studien und verhindert redundante Forschungsanstrengungen. Bei registrierten Studien ist die Wahrscheinlichkeit größer, dass sie veröffentlicht werden, was eine Verzerrung bei der Veröffentlichung verhindern kann und sicherstellt, dass die Ergebnisse der Studie für die klinische Praxis und die politische Entscheidungsfindung zur Verfügung stehen. Die Vorregistrierung ist ein wichtiger Schritt, um sicherzustellen, dass die klinische Forschung auf transparente und strenge Weise durchgeführt wird, was zu zuverlässigeren und nützlicheren Ergebnissen führt.

Gelman, A., & Loken, E. (2019). Der Garten der sich verzweigenden Wege : Warum Mehrfachvergleiche ein Problem darstellen können, selbst wenn es sich nicht um "fishing expedition" oder "p-hacking" handelt und die Forschungshypothese im Voraus aufgestellt wurde ∗.

Daniele Fanelli (2012). Negative Ergebnisse verschwinden aus den meisten Disziplinen und Ländern. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Der Wert der Vorabregistrierung für die psychologische Wissenschaft: Eine konzeptionelle Analyse. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). Die positive Falschentdeckungsrate: eine Bayes'sche Interpretation und der q-Wert. Die Annalen der Statistik, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Freiheitsgrade bei der Planung, Durchführung, Analyse und Berichterstattung psychologischer Studien: Eine Checkliste zur Vermeidung von p-hacking. Frontiers in Psychology, 7.