Τι είναι το P-Hacking; | Στατιστικά

Το P-hacking είναι ένας όρος που χρησιμοποιείται για να περιγράψει διάφορες τεχνικές που μπορούν να χρησιμοποιήσουν οι ερευνητές για να αυξήσουν τις πιθανότητες να βρουν στατιστικά σημαντικά αποτελέσματα στη μελέτη τους, ακόμη και αν τα αποτελέσματα δεν είναι πραγματικά σημαντικά. Πρόκειται για μια μορφή χειραγώγησης δεδομένων που μπορεί να οδηγήσει στη δημοσίευση ψευδώς θετικών αποτελεσμάτων.

Π.χ.

Σε μια μελέτη που συγκρίνει την αποτελεσματικότητα δύο διαφορετικών παρεμβάσεων φυσικοθεραπείας για τον πόνο στον ώμο που σχετίζεται με το στροφικό πέταλο, ένας ερευνητής μπορεί να διεξάγει πολλαπλές αναλύσεις των δεδομένων, αναφέροντας μόνο εκείνες που δείχνουν στατιστικά σημαντική διαφορά μεταξύ των δύο παρεμβάσεων. Πρόκειται για p-hacking, επειδή ο ερευνητής αναφέρει επιλεκτικά μόνο τα αποτελέσματα που υποστηρίζουν την υπόθεσή του, ενώ αγνοεί εκείνα που δεν υποστηρίζουν.

Πολλαπλές μη προσαρμοσμένες συγκρίσεις

Ένα άλλο παράδειγμα p-hacking στη φυσιοθεραπευτική έρευνα είναι όταν ένας ερευνητής πραγματοποιεί πολλαπλές συγκρίσεις μεταξύ διαφορετικών παρεμβάσεων, αλλά δεν προσαρμόζεται για αυτές τις πολλαπλές συγκρίσεις. Αυτό μπορεί να οδηγήσει σε αυξημένη πιθανότητα εύρεσης στατιστικά σημαντικών αποτελεσμάτων λόγω τύχης, ακόμη και αν οι παρεμβάσεις δεν είναι πραγματικά διαφορετικές.

Αφαιρώντας επιλεκτικά ορισμένα από τα δεδομένα, ο ερευνητής ουσιαστικά "πειράζει" τα αποτελέσματα, καθώς αυξάνει την πιθανότητα εύρεσης μιας στατιστικά σημαντικής διαφοράς μεταξύ των δύο παρεμβάσεων, ακόμη και αν δεν υπάρχει πραγματική διαφορά. Ο ερευνητής μπορεί στη συνέχεια να παρουσιάσει τα δεδομένα σαν να επρόκειτο για μια δίκαιη σύγκριση, γεγονός που μπορεί να οδηγήσει σε ανακριβή συμπεράσματα και να παραπλανήσει τη μελλοντική έρευνα και θεραπεία. Αυτός είναι μόνο ένας από τους τρόπους για να το κάνετε αυτό.

Ακούσια

Είναι σημαντικό να σημειωθεί ότι η πειρατεία P μπορεί να συμβεί τυχαία και να οφείλεται στην έλλειψη στατιστικών γνώσεων ενός ερευνητή ή στην πίεση για τη δημοσίευση υποσχόμενων αποτελεσμάτων. Ωστόσο, μπορεί επίσης να είναι μια επιλογή που γίνεται συνειδητά με στόχο. Οι ερευνητές θα πρέπει να προ-καταχωρούν το σχεδιασμό της μελέτης και το αναλυτικό τους σχέδιο, να αναφέρουν όλα τα ευρήματα και να εφαρμόζουν τις κατάλληλες στατιστικές τεχνικές για να λαμβάνουν υπόψη τους τις πολλαπλές συγκρίσεις, προκειμένου να αποτρέψουν το p-hacking. Προκειμένου να ενισχυθεί η εμπιστοσύνη στα ευρήματα, μπορούν επίσης να χρησιμοποιηθούν μελέτες αναπαραγωγής και ανεξάρτητης αναπαραγωγής των ευρημάτων.

Περισσότερα για την προδικαστική εγγραφή

Η προ-δοκιμαστική καταχώριση, η οποία περιλαμβάνει την υποβολή αναλυτικών στοιχείων σχετικά με τον ερευνητικό σχεδιασμό, τις παρεμβάσεις, τα αποτελέσματα και το σχέδιο ανάλυσης, είναι η διαδικασία καταχώρισης μιας κλινικής δοκιμής πριν από την έναρξή της. Η διαδικασία αυτή θεωρείται ζωτικής σημασίας για την ενίσχυση της ανοικτότητας και την ελαχιστοποίηση της μεροληψίας στην κλινική έρευνα. Οι ερευνητές δεσμεύονται σε ένα σύνολο στόχων και διαδικασιών με τη δημόσια καταχώριση μιας μελέτης πριν από την εκτέλεσή της, γεγονός που μπορεί να συμβάλει στην πρόληψη της επιλεκτικής αναφοράς των αποτελεσμάτων και της παραποίησης των δεδομένων. Η προ-δοκιμαστική καταχώριση διευκολύνει επίσης την πρόσβαση σε δεδομένα σχετικά με τρέχουσες και ολοκληρωμένες δοκιμές και αποτρέπει τις περιττές ερευνητικές προσπάθειες. Οι καταχωρημένες δοκιμές είναι πιθανότερο να δημοσιευθούν, γεγονός που μπορεί να μειώσει τη μεροληψία δημοσίευσης και να διασφαλίσει ότι τα αποτελέσματα της μελέτης είναι διαθέσιμα για χρήση στην κλινική πρακτική και τη χάραξη πολιτικής. Η προ-δοκιμαστική καταχώριση είναι ένα σημαντικό βήμα προς τη διασφάλιση ότι η κλινική έρευνα διεξάγεται με διαφανή και αυστηρό τρόπο, οδηγώντας σε πιο αξιόπιστα και χρήσιμα αποτελέσματα.

Gelman, A., & Loken, E. (2019). Ο κήπος των διχαλωτών μονοπατιών : Γιατί οι πολλαπλές συγκρίσεις μπορεί να αποτελούν πρόβλημα , ακόμη και όταν δεν υπάρχει "ψαρέματα" ή "p-hacking" και η ερευνητική υπόθεση τέθηκε εκ των προτέρων ∗.

Daniele Fanelli (2012). Τα αρνητικά αποτελέσματα εξαφανίζονται από τους περισσότερους κλάδους και τις περισσότερες χώρες. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Η αξία της προεγγραφής για την ψυχολογική επιστήμη: Μια εννοιολογική ανάλυση. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). Το θετικό ποσοστό ψευδούς ανακάλυψης: μια Μπεϋζιανή ερμηνεία και η τιμή q. The annals of statistics, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Βαθμοί ελευθερίας στο σχεδιασμό, τη διεξαγωγή, την ανάλυση και την υποβολή εκθέσεων ψυχολογικών μελετών: Ένας κατάλογος ελέγχου για την αποφυγή του p-hacking. Frontiers in Psychology, 7.