V čem je težava večkratne primerjave? | Statistika

Problem večkratne primerjave je problem, ki se pojavi, ko se na istem vzorcu izvede več testov. To lahko ponazorimo s primerom.

Npr.

Recimo, da študija preučuje potencialne dejavnike tveganja za tekaške poškodbe pri 5000 tekačih začetnikih. Preizkušamo različne spremenljivke, saj še ne vemo, katere spremenljivke bodo povečale tveganje. Primeri so: obseg teka, padec navikularne osi, kot q, moč kvadriceptorja in gluteja, vzorec udarca pete proti sprednjemu delu stopala, minimalistični proti maksimalističnemu čevlju in ROM dorzifleksije gležnja.

Lažni pozitivni rezultati z večkratno primerjavo

Večina raziskovalcev se strinja s 5-odstotno stopnjo lažnih pozitivnih rezultatov, kar je stopnja alfa ali stopnja pomembnosti. To velja za določeno spremenljivko, kot je moč kvadricepsa. To pomeni, da če se ta študija izvede stokrat, bo približno 5 študij pokazalo lažno pozitiven rezultat, čeprav ga v resnici ni.

Vendar pa raziskovalci v istem vzorcu preučujejo deset spremenljivk in ne le moč kvadrikolesa. To predstavlja težavo.

Raziskovalci, ne da bi se zavedali te težave, izvedejo poskus. Dve leti pozneje so prišli podatki, ki kažejo, da sta vzorec udarca pete in moč zadnjice dejavnika tveganja za poškodbe pri teku. Odlično! To je zaključek in članek je objavljen.

Kot že omenjeno, 5-odstotna stopnja pomembnosti zaradi množice različnih spremenljivk, ki se proučujejo, ne pomeni, da je na tej točki 5-odstotna stopnja lažno pozitivnih rezultatov. Raziskovalci so torej z izvajanjem poskusa, v katerem so preverjali deset spremenljivk, implicitno sprejeli veliko večje tveganje lažno pozitivnih rezultatov.

To dokazuje stopnja napak po družinah. S preprostim izračunom lahko preverimo stopnjo lažno pozitivnih rezultatov, ki znaša 40 %! Formula je prikazana spodaj.

Rešitve problema večkratne primerjave

Mislim, da se lahko strinjamo, da to predstavlja težavo. Kaj bomo storili v zvezi s tem? Obstaja rešitev. Raziskovalci lahko opravijo popravke, da bi preprečili to inflacijo alfa z Bonferronijevim ali Holmovim popravkom. To je obravnavano v poglavju "Nadzor stopnje napake tipa 1".

Formula za stopnjo napake po družinah:

1 - (1 - ɑ)x

ɑ: alfa ali stopnja pomembnosti v decimalkah

x: število testov

Napake tipa II

Vendar lahko prilagajanje ravni pomembnosti vsakega posameznega testa poveča verjetnost napake tipa II (lažno negativne ) pri vseh testih. To je zato, ker strožja raven pomembnosti zmanjšuje moč vsakega posameznega testa za odkrivanje resničnega učinka ali povezave. Zato se lahko pri nekaterih testih pomemben učinek spregleda, kar privede do lažno negativnih rezultatov. Da bi se izognili lažno negativnim rezultatom zaradi problema večkratne primerjave, lahko uporabimo tehnike, kot so predhodna registracija hipotez, študije ponovitev ali močnejše statistične metode, kot je Bayesovo sklepanje. Poleg tega je pomembno skrbno načrtovati študijo in preverjane hipoteze, da bi zmanjšali število opravljenih testov ter zagotovili, da so smiselni in ustrezni za raziskovalno vprašanje.

Wason, J. M. S., in Robertson, D. S. (2021). Obvladovanje stopnje napak tipa I v kliničnih preskušanjih z več rameni: Primer za stopnjo napačnega odkritja. Farmacevtska statistika, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Večkratno testiranje. Del I. Enostopenjski postopki za nadzor splošne stopnje napake tipa I. Statistične aplikacije v genetiki in molekularni biologiji, 3, Article13.

Lakens, D., Nadzor napak tipa 1 Daniel Lakens, youtube

John Ludbrook (1998). POSODOBLJENI POSTOPKI VEČKRATNE PRIMERJAVE. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x