Vad är problemet med multipla jämförelser? | Statistik

Problemet med multipla jämförelser är det problem som uppstår när flera tester utförs på samma urval. Ett exempel får illustrera detta.

Eg.

Låt oss säga att en studie undersöker potentiella riskfaktorer för löparskador hos 5000 nybörjare. Olika variabler testas, eftersom vi ännu inte vet vilka som ökar risken. Exempel på detta är: löpvolym, navikulärt drop, q-vinkel, styrka i quadriceps och gluteus, häl- respektive framfotsisättning, minimalistisk respektive maximalistisk sko samt ROM för dorsalflexion i fotleden.

Falska positiva resultat med multipel jämförelse

De flesta forskare accepterar 5% falskt positiva resultat, vilket är alfa- eller signifikansnivån. Detta gäller för en given variabel som t.ex. styrka i quadriceps. Det innebär att om denna studie genomförs hundra gånger kommer cirka 5 studier att visa ett falskt positivt resultat, när det i själva verket inte finns något sådant.

Forskarna tittar dock på tio variabler, inte bara quadstyrka, inom samma urval. Detta innebär ett problem.

Forskarna, som inte är medvetna om detta problem, genomför försöket. Två år senare kommer data som visar att ett hälisättningsmönster och styrka i sätesmusklerna är en riskfaktor för en löpskada. Jättebra! Det är slutsatsen och artikeln blir publicerad.

Som tidigare nämnts innebär signifikansnivån på 5% inte att det finns en 5% falsk positiv frekvens vid denna tidpunkt på grund av den uppsjö av olika variabler som undersöks. Forskarna accepterade alltså underförstått en mycket större risk för falskt positiva resultat genom att genomföra studien med tio variabler.

Den familjevisa felprocenten visar detta. Med en ganska enkel beräkning kan vi kontrollera den falska positiva frekvensen, den är 40%! Formeln visas nedan.

Lösningar på problemet med multipla jämförelser

Jag tror att vi kan vara överens om att detta utgör ett problem. Så vad ska vi göra åt det? Det finns en lösning. Forskare kan göra korrigeringar för att motverka denna alfa-inflation genom att göra en Bonferroni- eller Holm-korrigering. Detta diskuteras i "Kontroll av felprocent av typ 1".

Familjevis formel för felprocent:

1 - (1 - ɑ)x

ɑ: alfa- eller signifikansnivå i decimaler

x: antal tester

Typ II-fel

Om du justerar signifikansnivån för varje enskilt test kan det dock öka sannolikheten för att du gör ett typ II-fel (falskt negativt) i alla tester. Detta beror på att den strängare signifikansnivån minskar varje enskilt tests förmåga att upptäcka en sann effekt eller ett sant samband. Följaktligen kan en betydande effekt missas i vissa tester, vilket leder till falskt negativa resultat. För att undvika falskt negativa resultat på grund av problemet med multipla jämförelser kan vi använda tekniker som förhandsregistrering av hypoteser, replikationsstudier eller mer kraftfulla statistiska metoder som Bayesiansk inferens. Dessutom är det viktigt att noggrant utforma studien och de hypoteser som testas för att minimera antalet tester som utförs och säkerställa att de är meningsfulla och relevanta för forskningsfrågan.

Wason, J. M. S., och Robertson, D. S. (2021). Kontroll av typ I-fel i kliniska prövningar med flera försökspersoner: Ett fall för den falska upptäcktsfrekvensen. Pharmaceutical statistics, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Flera tester. Del I. Enstegsförfaranden för kontroll av allmänna typ I-felprocent. Statistiska tillämpningar inom genetik och molekylärbiologi, 3, artikel13.

Lakens, D., Typ 1-felkontroll av Daniel Lakens, youtube

John Ludbrook (1998). UPPDATERADE FÖRFARANDEN FÖR MULTIPLA JÄMFÖRELSER. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x