Ποιο είναι το πρόβλημα της πολλαπλής σύγκρισης; | Στατιστική

Το πρόβλημα της πολλαπλής σύγκρισης είναι το πρόβλημα που προκύπτει όταν εκτελούνται πολλαπλές δοκιμές στο ίδιο δείγμα. Ένα παράδειγμα θα το καταδείξει αυτό.

Π.χ.

Ας υποθέσουμε ότι μια μελέτη εξετάζει μελλοντικούς παράγοντες κινδύνου για τραυματισμούς στο τρέξιμο σε 5000 αρχάριους δρομείς. Δοκιμάζονται διάφορες μεταβλητές, δεδομένου ότι δεν γνωρίζουμε ακόμη ποιες από αυτές θα αυξήσουν τον κίνδυνο. Παραδείγματα είναι: όγκος τρεξίματος, πτώση της ποδοκνημικής, γωνία q, δύναμη τετρακέφαλων και γλουτών, μοτίβο πρόσκρουσης με φτέρνα ή με μπροστινό πόδι, μινιμαλιστικό ή μαξιμαλιστικό παπούτσι και ROM ραχιαίας κάμψης αστραγάλου.

Ψευδώς θετικά αποτελέσματα με πολλαπλή σύγκριση

Οι περισσότεροι ερευνητές αποδέχονται ένα ποσοστό ψευδώς θετικών αποτελεσμάτων 5%, το επίπεδο άλφα ή σημαντικότητας. Αυτό ισχύει για μια δεδομένη μεταβλητή όπως η δύναμη του τετρακέφαλου. Αυτό σημαίνει ότι αν η μελέτη αυτή διεξαχθεί εκατό φορές, περίπου 5 μελέτες θα παρουσιάσουν ψευδώς θετικό αποτέλεσμα, ενώ στην πραγματικότητα δεν υπάρχει κανένα.

Ωστόσο, οι ερευνητές εξετάζουν δέκα μεταβλητές, όχι μόνο τη δύναμη του τετραγώνου, εντός του ίδιου δείγματος. Αυτό δημιουργεί ένα πρόβλημα.

Οι ερευνητές, εν αγνοία αυτού του προβλήματος, διεξάγουν τη δοκιμή. Δύο χρόνια αργότερα έρχονται τα δεδομένα που δείχνουν ότι το μοτίβο του χτυπήματος της φτέρνας και η δύναμη των γλουτών αποτελούν παράγοντα κινδύνου για τραυματισμό στο τρέξιμο. Υπέροχα! Αυτό είναι το συμπέρασμα και η εργασία δημοσιεύεται.

Όπως σημειώθηκε προηγουμένως, το επίπεδο σημαντικότητας στο 5% δεν σημαίνει ότι υπάρχει 5% ποσοστό ψευδώς θετικών αποτελεσμάτων σε αυτό το σημείο λόγω της πληθώρας των διαφορετικών μεταβλητών που ερευνώνται. Έτσι, οι ερευνητές αποδέχθηκαν σιωπηρά έναν πολύ μεγαλύτερο κίνδυνο ψευδώς θετικών αποτελεσμάτων με τη διεξαγωγή της δοκιμής, εξετάζοντας δέκα μεταβλητές.

Το ποσοστό σφάλματος ανά οικογένεια το αποδεικνύει αυτό. Με έναν αρκετά απλό υπολογισμό, μπορούμε να ελέγξουμε το ψευδώς θετικό ποσοστό, το οποίο είναι 40%! Ο τύπος φαίνεται παρακάτω.

Λύσεις στο πρόβλημα της πολλαπλής σύγκρισης

Νομίζω ότι μπορούμε να συμφωνήσουμε ότι αυτό αποτελεί πρόβλημα. Τι θα κάνουμε λοιπόν γι' αυτό; Υπάρχει λύση. Οι ερευνητές μπορούν να κάνουν διορθώσεις για να εξουδετερώσουν αυτή την άλφα-διόγκωση κάνοντας μια διόρθωση Bonferroni ή Holm. Αυτό εξετάζεται στην ενότητα "Έλεγχος ποσοστού σφάλματος τύπου 1".

Τύπος ποσοστού σφάλματος ανά οικογένεια:

1 - (1 - ɑ)x

ɑ: άλφα ή επίπεδο σημαντικότητας σε δεκαδικούς αριθμούς

x: αριθμός δοκιμών

Σφάλματα τύπου ΙΙ

Ωστόσο, η προσαρμογή του επιπέδου σημαντικότητας κάθε μεμονωμένης δοκιμής μπορεί να αυξήσει την πιθανότητα σφάλματος τύπου ΙΙ (ψευδώς αρνητικό) σε όλες τις δοκιμές. Αυτό οφείλεται στο γεγονός ότι το αυστηρότερο επίπεδο σημαντικότητας μειώνει την ισχύ κάθε μεμονωμένης δοκιμής για την ανίχνευση μιας πραγματικής επίδρασης ή σχέσης. Κατά συνέπεια, σε ορισμένες δοκιμές μπορεί να μην παρατηρηθεί σημαντική επίδραση, οδηγώντας σε ψευδώς αρνητικά αποτελέσματα. Για να αποφύγουμε ψευδώς αρνητικά αποτελέσματα λόγω του προβλήματος της πολλαπλής σύγκρισης, μπορούμε να χρησιμοποιήσουμε τεχνικές όπως η προεγγραφή των υποθέσεων, οι μελέτες επανάληψης ή πιο ισχυρές στατιστικές μέθοδοι όπως η Μπεϋζιανή συμπερασματολογία. Επιπλέον, είναι σημαντικό να σχεδιάζεται προσεκτικά η μελέτη και οι υποθέσεις που ελέγχονται, ώστε να ελαχιστοποιείται ο αριθμός των ελέγχων που διεξάγονται και να διασφαλίζεται ότι έχουν νόημα και σχετίζονται με το ερευνητικό ερώτημα.

Wason, J. M. S., & Robertson, D. S. (2021). Έλεγχος των ποσοστών σφάλματος τύπου Ι σε κλινικές δοκιμές πολλαπλών βραχιόνων: Μια υπόθεση για το ποσοστό ψευδούς ανακάλυψης. Pharmaceutical statistics, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Πολλαπλές δοκιμές. Μέρος Ι. Διαδικασίες ενός βήματος για τον έλεγχο των γενικών ποσοστών σφάλματος τύπου Ι. Στατιστικές εφαρμογές στη γενετική και τη μοριακή βιολογία, 3, Άρθρο13.

Lakens, D., Type 1 error control by Daniel Lakens, youtube

John Ludbrook (1998). ΕΠΙΚΑΙΡΟΠΟΊΗΣΗ ΤΩΝ ΔΙΑΔΙΚΑΣΙΏΝ ΠΟΛΛΑΠΛΉΣ ΣΎΓΚΡΙΣΗΣ. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x