Stopnja napake tipa 1 | Statistika

Testiranje več spremenljivk poveča stopnjo napake tipa 1 ali stopnjo lažno pozitivnih rezultatov. To se imenuje problem večkratne primerjave. Popravek te alfa-inflacije ni težaven. Obstajata dva glavna načina, in sicer Bonferronijev popravek in Holmov popravek.

Bonferronijev popravek

Bonferronijev popravek je preprost, vendar precej konservativen. Svojo raven alfa delite s številom testov, ki jih nameravate izvesti. To bo nova raven pomembnosti. V tem primeru torej:

ɑ / n

ɑ: alfa ali stopnja pomembnosti

n: število testov

0.05 / 10 = 0.005

Tako lahko to zlahka storite tudi sami, ko berete članek. Če se testira pet spremenljivk, veste, da bi morala biti stopnja alfa približno 0,01 namesto 0,05 (0,05 / 5). To velja ob predpostavki, da raziskovalci niso opravili množice testov "v ozadju" in o njih niso poročali. Temu pravimo izčrpavanje podatkov ali vdiranje v podatke.

Drug način je, da preprosto pomnožimo p-vrednost iz dokumenta s številom testov.

Npr.

P-vrednost = 0,03

0.03 * 10 = 0.3

To pomeni, da je prej pomembna p-vrednost postala nepomembna, če je bilo testiranih 10 spremenljivk.

Omejitve Bonferronijevega popravka

Bonferronijev popravek je pogosto uporabljena metoda za prilagoditev stopnje pomembnosti za večkratne primerjave, da se nadzoruje splošna stopnja napake tipa I. Vendar ima več omejitev.

Ena od glavnih težav je, da je lahko pretirano stroga, kar lahko povzroči izgubo statistične moči. Poleg tega predpostavlja, da so vse primerjave neodvisne, kar pa v dejanskih podatkih morda ne drži, kar lahko vodi do višjih stopenj napak tipa II.

Druga omejitev Bonferronijevega popravka je, da povečuje možnost lažno negativnih rezultatov ali napak tipa II, kar pomeni, da obstaja večja možnost, da spregledamo pravi učinek.

Bonferronijev popravek je najprimernejši v primerih, ko je število primerjav razmeroma majhno, saj ni tako učinkovit, če je število primerjav zelo veliko. Zato morajo raziskovalci skrbno preučiti ustreznost Bonferronijevega popravka za svoje raziskovalno vprašanje in nabor podatkov ter se zavedati njegovih omejitev.

Popravek Holm

Drugi način popravljanja inflacije alfa je Holmov popravek. Recimo, da so raziskovalci opravili pet testov in tako dobili pet p-vrednosti. Za delovanje Holmovega popravka jih je treba razvrstiti od najnižjega do najvišjega.

Npr.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

Holmova formula je naslednja: 

p-vrednost * (m + 1 - k)

m = število p-vrednosti

k = rang p-vrednosti

Tako za tretjo p-vrednost dobimo...

0,0172 * (5 + 1 - 3) = 0,0516

... zaradi česar so rezultati nepomembni.

Omejitve popravka Holm

Ena od omejitev je, da Holmov popravek predpostavlja, da so vsi testi neodvisni, kar pomeni, da rezultati enega testa ne vplivajo na rezultate drugega. V nekaterih primerih pa so lahko testi odvisni, na primer pri testiranju več rezultatov iz istega vzorca ali pri testiranju različnih časovnih točk istega posega. V takih primerih je lahko Holmov popravek preveč konservativen ali preveč liberalen, kar vodi do napačnih zaključkov. Druga omejitev Holmovega popravka je, da ne upošteva korelacije med testi, kar lahko vpliva na stopnjo lažno pozitivnih rezultatov. Če je na primer več testov povezanih z istim osnovnim konstruktom, se verjetnost zaznave pomembnega učinka poveča in Holmov popravek tega morda ne bo ustrezno upošteval. Čeprav je Holmov popravek koristna metoda za prilagajanje p-vrednosti pri testiranju več primerjav, je treba upoštevati njegove omejitve, zlasti kadar so testi odvisni ali korelirani. V nekaterih primerih so lahko primernejše druge metode, kot so nadzor stopnje napačnih odkritij ali Bayesove metode.

John Ludbrook (1998). Posodobljeni postopki večkratne primerjave. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). Bonferroni-Holmovi in permutacijski testi za primerjavo zdravstvenih podatkov: metodološka in uporabna vprašanja. BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8

Lakens, D., Nadzor napak tipa 1 Daniel Lakens, youtube