Частота помилок типу 1 | Статистика

Тестування декількох змінних збільшує частоту помилок типу 1 або частоту хибних спрацьовувань. Це називається проблемою множинних порівнянь. Виправити цю альфа-інфляцію не складно. Існує два основних способи: корекція Бонферроні та корекція Холма.

Корекція Бонферроні

Корекція Бонферроні проста, але досить консервативна. Ви ділите свій альфа-рівень на кількість тестів, які збираєтеся виконати. Це буде новий рівень значущості. Так і в цьому випадку:

ɑ / n

ɑ: альфа або рівень значущості

n: кількість тестів

0.05 / 10 = 0.005

Таким чином, ви можете легко зробити це самостійно, читаючи статтю. Якщо тестується п'ять змінних, ви знаєте, що рівень альфа має бути близько 0,01 замість 0,05 (0,05 / 5). Це за умови, що дослідники не проводили безліч тестів "за лаштунками", не повідомляючи про них. Це називається data-draining або p-хакінг.

Інший спосіб - просто помножити p-значення в роботі на кількість тестів.

Наприклад.

P-value = 0.03

0.03 * 10 = 0.3

Це означає, що раніше значуще p-значення стало незначущим, якщо було протестовано 10 змінних.

Обмеження корекції Бонферроні

Поправка Бонферроні - це широко використовуваний метод коригування рівня значущості для множинних порівнянь з метою контролю загального рівня помилок першого типу. Однак він має ряд обмежень.

Однією з головних проблем є те, що вона може бути надто суворою, що може призвести до втрати статистичної сили. Крім того, він припускає, що всі порівняння є незалежними, що може бути не так у реальних даних, що потенційно призводить до вищих показників помилок типу II.

Ще одним обмеженням поправки Бонферроні є те, що вона збільшує ймовірність хибнонегативних результатів або помилок типу II, тобто збільшується ймовірність пропустити справжній ефект.

Нарешті, поправка Бонферроні найкраще підходить для ситуацій, коли кількість порівнянь відносно невелика, оскільки вона може бути не такою ефективною, коли кількість порівнянь дуже велика. Тому дослідники повинні ретельно зважити доцільність застосування поправки Бонферроні для свого питання та набору даних, а також пам'ятати про її обмеження.

Холмська корекція

Другим способом корекції альфа-інфляції є поправка Хольма. Припустимо, дослідники провели п'ять тестів і таким чином отримали п'ять p-значень. Для того, щоб Холмська корекція спрацювала, вони повинні бути проранжовані від найнижчого до найвищого.

Наприклад.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

Холмська формула виглядає наступним чином: 

p-значення * (m + 1 - k)

m = кількість p-значень

k = ранг p-значення

Отже, для третього p-значення отримуємо

0,0172 * (5 + 1 - 3) = 0,0516

... що робить результати несуттєвими.

Обмеження холмської корекції

Одне з обмежень полягає в тому, що поправка Хольма передбачає, що всі тести є незалежними, тобто результати одного тесту не впливають на результати іншого. Однак у деяких випадках тести можуть бути залежними, наприклад, при тестуванні декількох результатів з однієї вибірки або при тестуванні різних часових точок одного і того ж втручання. У таких випадках поправка Холма може бути занадто консервативною або занадто ліберальною, що призводить до неправильних висновків. Ще одним обмеженням поправки Хольма є те, що вона не враховує кореляцію між тестами, що може вплинути на частоту хибнопозитивних результатів. Наприклад, якщо кілька тестів пов'язані з одним і тим же базовим конструктом, ймовірність виявлення значущого ефекту зростає, і поправка Хольма може неадекватно це врахувати. Хоча поправка Хольма є корисним методом для коригування p-значень у тестах множинного порівняння, важливо враховувати її обмеження, особливо коли тести є залежними або корельованими. Інші методи, такі як контроль частоти помилкових відкриттів або байєсівські методи, можуть бути більш доречними в деяких випадках.

Джон Ладбрук (1998). Оновлені процедури множинних порівнянь. Журнал "Біомедицина", 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Джакалоне, М., Агата, З., Коццуколі, П. К., та Алібранді, А. (2018). Тести Бонферроні-Хольма та перестановки для порівняння даних про стан здоров'я: методологічні та прикладні питання. BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8

Лейкенс, Д., Контроль помилок типу 1 від Деніела Лейкенса, youtube