Що таке проблема множинних порівнянь? | Статистика

Проблема множинного порівняння - це проблема, яка виникає, коли проводять кілька тестів на одній і тій же вибірці. Проілюструємо це на прикладі.

Наприклад.

Уявімо, що дослідження вивчає потенційні фактори ризику бігових травм у 5000 бігунів-початківців. Тестуються різні змінні, оскільки ми ще не знаємо, які з них збільшують ризик. Приклади: об'єм бігу, падіння гомілковостопного суглоба, q-кут, сила чотириголового м'яза та сідничних м'язів, структура удару п'ятою чи передньою частиною стопи, мінімалістичне чи максималістичне взуття та тильне згинання гомілковостопного суглоба.

Помилкові спрацьовування при багаторазовому порівнянні

Більшість дослідників приймають 5% хибнопозитивних результатів як альфа-рівень або рівень значущості. Це для такої змінної, як сила чотириголового м'яза. Це означає, що якщо це дослідження провести сто разів, приблизно 5 досліджень покажуть хибнопозитивний результат, коли насправді його немає.

Однак дослідники вивчають десять змінних, а не лише силу чотириногих, в межах однієї вибірки. Це створює проблему.

Дослідники, не знаючи про цю проблему, проводять випробування. Через два роки з'явилися дані, які свідчать про те, що характер удару п'ятою і сила сідничних м'язів є факторами ризику отримання травми під час бігу. Чудово! Це висновок, і стаття публікується.

Як зазначалося раніше, рівень значущості на рівні 5% не означає, що в цей момент існує 5% помилкових спрацьовувань через велику кількість різних змінних, які досліджуються. Таким чином, дослідники неявно прийняли набагато більший ризик хибнопозитивних результатів, проводячи випробування, розглядаючи десять змінних.

Про це свідчить частота помилок для всієї родини. За допомогою досить простого підрахунку ми можемо перевірити рівень хибних спрацьовувань - він становить 40%! Формула наведена нижче.

Рішення проблеми множинних порівнянь

Думаю, можна погодитися, що це створює проблему. То що ж ми збираємося з цим робити? Рішення є. Дослідники можуть вносити поправки, щоб протидіяти цій альфа-інфляції, застосовуючи поправку Бонферроні або Хольма. Це обговорюється в розділі "Контроль частоти помилок типу 1".

Формула частоти помилок для всієї родини:

1 - (1 - ɑ)x

ɑ: альфа або рівень значущості в десяткових дробах

x: кількість тестів

Помилки типу II

Однак, коригування рівня значущості кожного окремого тесту може збільшити ймовірність помилки типу II (хибнонегативного результату) у всіх тестах. Це пов'язано з тим, що більш суворий рівень значущості зменшує здатність кожного окремого тесту виявити справжній ефект або взаємозв'язок. Отже, в деяких тестах значний ефект може бути пропущений, що призведе до хибнонегативних результатів. Щоб уникнути хибнонегативних результатів через проблему множинних порівнянь, ми можемо використовувати такі методи, як попередня реєстрація гіпотез, реплікаційні дослідження або більш потужні статистичні методи, такі як байєсівський висновок. Крім того, важливо ретельно спланувати дослідження і гіпотези, які перевіряються, щоб мінімізувати кількість проведених тестів і переконатися, що вони є значущими і відповідають дослідницькому питанню.

Wason, J. M. S., & Robertson, D. S. (2021). Контроль рівня помилок першого типу в багатоцентрових клінічних дослідженнях: Доказ на користь показника помилкового виявлення. Фармацевтична статистика, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Багаторазове тестування. Частина I. Однокрокові процедури контролю загальної кількості помилок типу I. Статистичні застосування в генетиці та молекулярній біології, 3, стаття 13.

Лейкенс, Д., Контроль помилок типу 1 від Деніела Лейкенса, youtube

Джон Ладбрук (1998). ОНОВЛЕНІ ПРОЦЕДУРИ МНОЖИННОГО ПОРІВНЯННЯ. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x