Typ-1-Fehlerrate | Statistik

Gehe zu

Typ-1-Fehlerrate | Statistik

Das Testen mehrerer Variablen erhöht die Fehlerrate vom Typ 1 oder die Rate der falsch positiven Ergebnisse. Dies wird als Problem des Mehrfachvergleichs bezeichnet. Es ist nicht schwer, diese Alpha-Inflation zu korrigieren. Es gibt zwei Hauptmethoden, nämlich die Bonferroni-Korrektur und die Holm-Korrektur.

Bonferroni-Korrektur

Die Bonferroni-Korrektur ist einfach, aber recht konservativ. Sie dividieren Ihr Alpha-Niveau durch die Anzahl der Tests, die Sie durchführen wollen. Dies wird das neue Signifikanzniveau sein. In diesem Fall also:

ɑ / n

ɑ: Alpha- oder Signifikanzniveau

n: Anzahl der Tests

0.05 / 10 = 0.005

Sie können dies also ganz einfach selbst tun, wenn Sie eine Zeitung lesen. Wenn fünf Variablen getestet werden, wissen Sie, dass das Alpha-Niveau etwa 0,01 statt 0,05 (0,05 / 5) betragen sollte. Dies setzt voraus, dass die Forscher nicht hinter den Kulissen eine ganze Reihe von Tests durchgeführt haben, die sie nicht veröffentlicht haben. Dies wird als "data-dredging" oder "p-hacking" bezeichnet.

Eine andere Möglichkeit ist die Multiplikation des p-Wertes im Papier mit der Anzahl der Tests.

Beispiel.

P-Wert = 0,03

0.03 * 10 = 0.3

Dies bedeutet, dass der zuvor signifikante p-Wert nun nicht mehr signifikant ist, wenn 10 Variablen getestet wurden.

Einschränkungen der Bonferroni-Korrektur

Die Bonferroni-Korrektur ist eine weit verbreitete Methode zur Anpassung des Signifikanzniveaus bei Mehrfachvergleichen, um die Gesamtfehlerrate vom Typ I zu kontrollieren. Sie hat jedoch mehrere Einschränkungen.

Eines der Hauptprobleme ist, dass sie zu streng sein kann, was zu einem Verlust an statistischer Aussagekraft führen kann. Außerdem wird davon ausgegangen, dass alle Vergleiche unabhängig sind, was bei realen Daten möglicherweise nicht der Fall ist, was zu höheren Fehlerquoten vom Typ II führen kann.

Eine weitere Einschränkung der Bonferroni-Korrektur besteht darin, dass sie die Wahrscheinlichkeit von falsch-negativen Ergebnissen oder Fehlern vom Typ II erhöht, was bedeutet, dass die Wahrscheinlichkeit, einen echten Effekt zu übersehen, größer ist.

Schließlich ist die Bonferroni-Korrektur am besten für Situationen geeignet, in denen die Anzahl der Vergleiche relativ gering ist, da sie bei einer sehr großen Anzahl von Vergleichen möglicherweise nicht so effektiv ist. Daher sollten Forscher sorgfältig prüfen, ob die Bonferroni-Korrektur für ihre Forschungsfrage und ihren Datensatz geeignet ist, und sich ihrer Grenzen bewusst sein.

Holm-Korrektur

Eine zweite Möglichkeit zur Korrektur der Alpha-Inflation ist die Holm-Korrektur. Nehmen wir an, die Forscher führten fünf Tests durch und erhielten so fünf p-Werte. Damit die Holm-Korrektur funktioniert, sollten sie von unten nach oben geordnet werden.

Beispiel.

0,0004
0,0130
0,0172
0,0460
0,0600

Die Holm-Formel lautet wie folgt:

p-Wert * (m + 1 - k)

m = Anzahl der p-Werte

k = der Rang des p-Wertes

Für den dritten p-Wert erhalten wir also...

0,0172 * (5 + 1 - 3) = 0,0516

... wodurch die Ergebnisse unbedeutend werden.

Holm-Korrektur Beschränkungen

Eine Einschränkung besteht darin, dass die Holm-Korrektur davon ausgeht, dass alle Tests unabhängig sind, was bedeutet, dass die Ergebnisse eines Tests die Ergebnisse eines anderen nicht beeinflussen. In einigen Fällen können die Tests jedoch voneinander abhängig sein, z. B. beim Testen mehrerer Ergebnisse aus derselben Stichprobe oder beim Testen verschiedener Zeitpunkte der gleichen Intervention. In solchen Fällen kann die Korrektur von Holm zu konservativ oder zu liberal sein, was zu falschen Schlussfolgerungen führt. Eine weitere Einschränkung der Holm-Korrektur besteht darin, dass sie die Korrelation zwischen den Tests nicht berücksichtigt, was die Falsch-Positiv-Rate beeinflussen kann. Wenn sich beispielsweise mehrere Tests auf dasselbe zugrunde liegende Konstrukt beziehen, erhöht sich die Wahrscheinlichkeit, dass ein signifikanter Effekt festgestellt wird, und die Holm-Korrektur trägt dem möglicherweise nicht angemessen Rechnung. Die Holm-Korrektur ist zwar eine nützliche Methode zur Anpassung von p-Werten bei Mehrfachvergleichstests, aber es ist wichtig, ihre Grenzen zu beachten, insbesondere wenn die Tests abhängig oder korreliert sind. Andere Methoden wie die Kontrolle der Falschentdeckungsrate oder Bayes'sche Methoden können in manchen Fällen besser geeignet sein.