Ποσοστό σφάλματος τύπου 1 | Στατιστικά στοιχεία

Ο έλεγχος πολλαπλών μεταβλητών διογκώνει το ποσοστό σφάλματος τύπου 1 ή το ποσοστό ψευδώς θετικών αποτελεσμάτων. Αυτό ονομάζεται πρόβλημα πολλαπλής σύγκρισης. Η διόρθωση αυτής της άλφα-διόγκωσης δεν είναι δύσκολη. Υπάρχουν δύο κύριοι τρόποι, δηλαδή η διόρθωση Bonferroni και η διόρθωση Holm.

Διόρθωση Bonferroni

Η διόρθωση Bonferroni είναι απλή αλλά αρκετά συντηρητική. Διαιρείτε το επίπεδο άλφα με τον αριθμό των δοκιμών που πρόκειται να εκτελέσετε. Αυτό θα είναι το νέο επίπεδο σημαντικότητας. Έτσι σε αυτή την περίπτωση:

ɑ / n

ɑ: επίπεδο άλφα ή επίπεδο σημαντικότητας

n: αριθμός δοκιμών

0.05 / 10 = 0.005

Μπορείτε λοιπόν να το κάνετε αυτό πολύ εύκολα μόνοι σας όταν διαβάζετε μια εργασία. Εάν εξετάζονται πέντε μεταβλητές, γνωρίζετε ότι το επίπεδο άλφα θα πρέπει να είναι περίπου 0,01 αντί για 0,05 (0,05 / 5). Αυτό γίνεται με την προϋπόθεση ότι οι ερευνητές δεν έκαναν ένα σωρό δοκιμές "στα παρασκήνια" ενώ δεν τις ανέφεραν. Αυτό ονομάζεται data-dredging ή p-hacking.

Ένας άλλος τρόπος είναι απλά να πολλαπλασιάσετε την τιμή p-value στο έγγραφο με τον αριθμό των δοκιμών.

Π.χ.

P-value = 0,03

0.03 * 10 = 0.3

Αυτό σημαίνει ότι η προηγουμένως σημαντική τιμή p-value έγινε πλέον ασήμαντη εάν ελεγχθούν 10 μεταβλητές.

Περιορισμοί διόρθωσης Bonferroni

Η διόρθωση Bonferroni είναι μια ευρέως χρησιμοποιούμενη μέθοδος για την προσαρμογή του επιπέδου σημαντικότητας για πολλαπλές συγκρίσεις προκειμένου να ελεγχθεί το συνολικό ποσοστό σφάλματος τύπου Ι. Ωστόσο, έχει αρκετούς περιορισμούς.

Ένα από τα κύρια ζητήματα είναι ότι μπορεί να είναι υπερβολικά αυστηρή, γεγονός που μπορεί να οδηγήσει σε απώλεια στατιστικής ισχύος. Επιπλέον, υποθέτει ότι όλες οι συγκρίσεις είναι ανεξάρτητες, κάτι που μπορεί να μην ισχύει στα δεδομένα του πραγματικού κόσμου, οδηγώντας ενδεχομένως σε υψηλότερα ποσοστά σφάλματος τύπου ΙΙ.

Ένας άλλος περιορισμός της διόρθωσης Bonferroni είναι ότι αυξάνει την πιθανότητα ψευδώς αρνητικών ή σφαλμάτων τύπου ΙΙ, που σημαίνει ότι υπάρχει μεγαλύτερη πιθανότητα να λείπει ένα πραγματικό αποτέλεσμα.

Τέλος, η διόρθωση Bonferroni είναι καταλληλότερη για περιπτώσεις όπου ο αριθμός των συγκρίσεων είναι σχετικά μικρός, καθώς μπορεί να μην είναι τόσο αποτελεσματική όταν ο αριθμός των συγκρίσεων είναι πολύ μεγάλος. Ως εκ τούτου, οι ερευνητές θα πρέπει να εξετάζουν προσεκτικά την καταλληλότητα της διόρθωσης Bonferroni για το ερευνητικό τους ερώτημα και το σύνολο των δεδομένων τους και να γνωρίζουν τους περιορισμούς της.

Διόρθωση Holm

Ένας δεύτερος τρόπος διόρθωσης του πληθωρισμού άλφα είναι η διόρθωση Holm. Ας πούμε ότι οι ερευνητές έκαναν πέντε δοκιμές και έτσι έγιναν πέντε p-values. Για να λειτουργήσει η διόρθωση Holm, θα πρέπει να κατατάσσονται από τη χαμηλότερη προς την υψηλότερη θέση.

Π.χ.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

Ο τύπος Holm έχει ως εξής: 

p-value * (m + 1 - k)

m = αριθμός p-values

k = ο βαθμός της τιμής p-value

Έτσι, για την τρίτη p-value έχουμε...

0,0172 * (5 + 1 - 3) = 0,0516

... καθιστώντας τα αποτελέσματα ασήμαντα.

Περιορισμοί διόρθωσης Holm

Ένας περιορισμός είναι ότι η διόρθωση Holm υποθέτει ότι όλες οι δοκιμές είναι ανεξάρτητες, δηλαδή ότι τα αποτελέσματα μιας δοκιμής δεν επηρεάζουν τα αποτελέσματα μιας άλλης. Ωστόσο, σε ορισμένες περιπτώσεις, οι δοκιμές μπορεί να εξαρτώνται, όπως όταν εξετάζονται πολλαπλά αποτελέσματα από το ίδιο δείγμα ή όταν εξετάζονται διαφορετικές χρονικές στιγμές από την ίδια παρέμβαση. Σε τέτοιες περιπτώσεις, η διόρθωση του Holm μπορεί να είναι υπερβολικά συντηρητική ή υπερβολικά φιλελεύθερη, οδηγώντας σε εσφαλμένα συμπεράσματα. Ένας άλλος περιορισμός της διόρθωσης Holm είναι ότι δεν λαμβάνει υπόψη τη συσχέτιση μεταξύ των δοκιμών, η οποία μπορεί να επηρεάσει το ποσοστό ψευδώς θετικών αποτελεσμάτων. Για παράδειγμα, εάν πολλαπλές δοκιμές σχετίζονται με την ίδια υποκείμενη κατασκευή, η πιθανότητα ανίχνευσης μιας σημαντικής επίδρασης αυξάνεται και η διόρθωση Holm μπορεί να μην το λαμβάνει επαρκώς υπόψη. Αν και η διόρθωση Holm είναι μια χρήσιμη μέθοδος για την προσαρμογή των τιμών p-values σε δοκιμές πολλαπλών συγκρίσεων, είναι σημαντικό να λαμβάνονται υπόψη οι περιορισμοί της, ιδίως όταν οι δοκιμές είναι εξαρτημένες ή συσχετισμένες. Άλλες μέθοδοι, όπως ο έλεγχος του ποσοστού ψευδούς ανακάλυψης ή οι μέθοδοι Bayes μπορεί να είναι πιο κατάλληλες σε ορισμένες περιπτώσεις.

John Ludbrook (1998). Επικαιροποίηση των διαδικασιών πολλαπλών συγκρίσεων. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). Δοκιμές Bonferroni-Holm και αντιμετάθεσης για τη σύγκριση δεδομένων υγείας: μεθοδολογικά και εφαρμοστικά ζητήματα. BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8

Lakens, D., Type 1 error control by Daniel Lakens, youtube