Statistik över typ 1-felprocent

Gå till

Hitta denna wiki på Physiotutors plattform Bli medlem i Physiotutors

Lär dig

Statistik över typ 1-felprocent

Testning av flera variabler ökar felfrekvensen av typ 1 eller andelen falska positiva resultat. Detta kallas för problemet med multipla jämförelser. Att korrigera för denna alfa-inflation är inte svårt. Det finns två huvudsakliga sätt, nämligen Bonferroni-korrigeringen och Holm-korrigeringen.

Bonferroni-korrigering

Bonferroni-korrigeringen är enkel men ganska konservativ. Du delar din alfanivå med antalet tester som du ska utföra. Detta blir den nya signifikansnivån. Så i det här fallet:

ɑ / n

ɑ: alfa- eller signifikansnivå

n: antal tester

0.05 / 10 = 0.005

Det kan du alltså göra ganska enkelt själv när du läser en uppsats. Om fem variabler testas vet du att alfanivån bör vara cirka 0,01 i stället för 0,05 (0,05 / 5). Detta under antagandet att forskarna inte utförde en mängd tester "bakom kulisserna" utan att rapportera dem. Detta kallas data-dredging eller p-hacking.

Ett annat sätt är att helt enkelt multiplicera p-värdet i uppsatsen med antalet tester.

Eg.

P-värde = 0,03

0.03 * 10 = 0.3

Det innebär att det tidigare signifikanta p-värdet nu blir obetydligt om 10 variabler testas.

Begränsningar i Bonferroni-korrigeringen

Bonferroni-korrigeringen är en allmänt använd metod för att justera signifikansnivån för multipla jämförelser i syfte att kontrollera den totala typ I-felfrekvensen. Den har dock flera begränsningar.

Ett av huvudproblemen är att det kan vara alltför strikt, vilket kan leda till att den statistiska styrkan minskar. Dessutom förutsätter den att alla jämförelser är oberoende, vilket kanske inte är fallet i verkliga data, vilket kan leda till högre typ II-felprocent.

En annan begränsning med Bonferroni-korrektionen är att den ökar risken för falska negativa resultat eller typ II-fel, vilket innebär att det finns en större risk att missa en sann effekt.

Slutligen är Bonferroni-korrigeringen lämpligast i situationer där antalet jämförelser är relativt litet, eftersom den kanske inte är lika effektiv när antalet jämförelser är mycket stort. Därför bör forskare noga överväga om Bonferroni-korrigeringen är lämplig för deras forskningsfråga och datauppsättning, och vara medvetna om dess begränsningar.

Holm korrigering

Ett andra sätt att korrigera alfa-inflationen är Holm-korrigeringen. Låt oss säga att forskarna gjorde fem tester och därmed fick fem p-värden. För att Holm-korrigeringen ska fungera bör de rangordnas från lägsta till högsta nivå.

Eg.

0,0004
0,0130
0,0172
0,0460
0,0600

Holmformeln är som följer:

p-värde * (m + 1 - k)

m = antal p-värden

k = rangordningen av p-värdet

Så för det tredje p-värdet får vi...

0,0172 * (5 + 1 - 3) = 0,0516

... vilket gör resultaten obetydliga.

Begränsningar för Holm-korrigering

En begränsning är att Holms korrigering förutsätter att alla tester är oberoende, vilket innebär att resultaten av ett test inte påverkar resultaten av ett annat. I vissa fall kan testerna dock vara beroende av varandra, t.ex. när man testar flera utfall från samma urval eller när man testar olika tidpunkter från samma intervention. I sådana fall kan Holms korrigering vara för konservativ eller för liberal, vilket leder till felaktiga slutsatser. En annan begränsning med Holms korrigering är att den inte tar hänsyn till korrelationen mellan testerna, vilket kan påverka andelen falska positiva resultat. Om t.ex. flera tester är relaterade till samma underliggande begrepp ökar sannolikheten för att upptäcka en signifikant effekt, och Holms korrigering kanske inte tar tillräcklig hänsyn till detta. Holms korrigering är en användbar metod för att justera p-värden i tester med flera jämförelser, men det är viktigt att beakta dess begränsningar, särskilt när testerna är beroende av varandra eller korrelerade. Andra metoder, t.ex. kontroll av False Discovery Rate eller Bayesianska metoder, kan i vissa fall vara mer lämpliga.