Što je problem višestruke usporedbe? | Statistika

Problem višestruke usporedbe je problem koji se javlja kada se provodi više testova na istom uzorku. Primjer će to ilustrirati.

Npr.

Recimo da studija proučava potencijalne čimbenike rizika za ozljede pri trčanju kod 5000 trkača početnika. Testiraju se različite varijable, budući da još ne znamo koje će povećati rizik. Primjeri su: volumen trčanja, navikularni pad, q-kut, snaga četverostruke i stražnjice, šablon udaraca pete u odnosu na prednji dio stopala, minimalistička u odnosu na maksimalnu cipelu i ROM dorzalne fleksije gležnja.

Lažno pozitivni rezultati s višestrukom usporedbom

Većina istraživača će prihvatiti stopu lažno pozitivnih rezultata od 5%, alfa ili razinu značajnosti . Ovo je za danu varijablu kao što je snaga kvadricepsa. To znači da ako se ova studija provede sto puta, oko 5 studija će pokazati lažno pozitivan rezultat , a zapravo ga nema.

Međutim, istraživači promatraju deset varijabli, a ne samo snagu četverokuta; unutar istog uzorka. Ovo predstavlja problem.

Istraživači, nesvjesni ovog problema, provode ispitivanje. Dvije godine kasnije stižu podaci koji pokazuju da su uzorak udarca pete i snaga gluteusa faktor rizika za ozljedu pri trčanju. super! To je zaključak i rad se objavljuje.

Kao što je prije navedeno, razina značajnosti od 5% ne znači da u ovom trenutku postoji stopa lažno pozitivnih rezultata od 5% zbog mnoštva različitih varijabli koje se istražuju. Stoga su istraživači implicitno prihvatili mnogo veći rizik od lažno pozitivnih rezultata provodeći ispitivanje, promatrajući deset varijabli.

Obiteljska stopa pogreške to pokazuje. Sasvim jednostavnom računicom možemo provjeriti lažno pozitivnu stopu, ona iznosi 40%! Formula je prikazana u nastavku.

Rješenja problema višestruke usporedbe

Mislim da se možemo složiti da to predstavlja problem. Dakle, što ćemo učiniti u vezi s tim? Postoji rješenje. Istraživači mogu napraviti ispravke kako bi spriječili ovu alfa-inflaciju radeći Bonferronijevu ili Holmovu korekciju. O tome se govori u “ Kontroli stope pogreške tipa 1 ”.

Formula stope pogreške za obitelj:

1 – (1 – ɑ)x

ɑ: alfa ili razina značajnosti u decimalama

x: broj testova

Pogreške tipa II

Međutim, prilagodba razine značajnosti svakog pojedinačnog testa može povećati vjerojatnost nastanka pogreške tipa II (lažno negativno) u svim testovima. To je zato što stroža razina značajnosti smanjuje snagu svakog pojedinačnog testa za otkrivanje pravog učinka ili odnosa. Posljedično, značajan učinak može biti propušten u nekim testovima, što dovodi do lažno negativnih rezultata . Kako bismo izbjegli lažno negativne rezultate zbog problema višestruke usporedbe, možemo koristiti tehnike kao što su predregistracija hipoteza, replikacijske studije ili snažnije statističke metode kao što je Bayesovo zaključivanje. Osim toga, važno je pažljivo osmisliti studiju i hipoteze koje se testiraju kako bi se smanjio broj provedenih testova i osiguralo da su smisleni i relevantni za pitanje istraživanja.

Wason, J. M. S. i Robertson, D. S. (2021). Kontrola stope pogreške tipa I u kliničkim ispitivanjima s više krakova: Slučaj stope lažnih otkrića. Farmaceutska statistika, 20(1), 109–116.

Dudoit, S., van der Laan, M. J. i Pollard, K. S. (2004). Višestruko testiranje. Dio I. Postupci u jednom koraku za kontrolu općih stopa pogreške tipa I. Statističke primjene u genetici i molekularnoj biologiji, 3, članak13.

Lakens, D., Kontrola pogreške tipa 1, Daniel Lakens, youtube

John Ludbrook (1998). AŽURIRANI POSTUPCI VIŠE USPOREĐIVANJA. , 25(12), 1032–1037. doi:10.1111/j.1440-1681.1998.tb02179.x