Що таке P-значення? | Статистика.

Простіше кажучи, p-значення виражає, наскільки ви здивовані отриманими даними, якщо припустити, що ефекту немає. Чим менше p-значення, тим більш несумісними здаються дані з вашою моделлю (тобто припущення про відсутність ефекту).

Наприклад.

Лікування А порівнюється з лікуванням Б, ви припускаєте відсутність ефекту або відсутність різниці; ви очікуєте, що нульова гіпотеза буде правильною. Ви виконуєте тест і отримуєте p-значення 0,02. Це означає, що зібрані вами дані є досить дивовижними, враховуючи, що ви припускали, що групи не будуть відрізнятися.

Значення p-value існує для того, щоб захистити себе від випадковості. Якщо ви проводите дослідження, швидше за все, ефекти, які ви бачите, є випадковими - або шумом даних, як ми це називаємо. Тому ви можете побачити помітні відмінності в середніх значеннях між групами, але не статистично значущий ефект. Може бути і навпаки. Дослідження може показати незначний результат, але може бути і справжній ефект; можливо, через те, що розмір вибірки занадто малий.

Що впливає на p-value?

На P-значення впливають кілька різних факторів: розмір вибірки, розмір ефекту та тип тесту з його припущеннями.

• Розмір вибірки: чим більша група, тим швидше ви отримаєте статистично значущі результати з невеликими відмінностями - і навпаки.
• Розмір ефекту: чим більший розмір ефекту, тим швидше ви отримаєте статистично значущі результати, навіть у невеликих групах - і навпаки.
• Тип тесту: тест стає більш чутливим до відмінностей з певними припущеннями, наприклад, щодо розподілу даних, незалежності показників, гомоскедастичності, одностороннього чи двостороннього, міжгрупового чи внутрішньогрупового тощо.

Наприклад. 

Величезне дослідження може виявити статистично значущі результати навіть при найменшому впливі. Ці ефекти можуть нічого не означати. В оригінальному дослідженні пеніциліну використовувався крихітний зразок, щоб отримати дані, які показують, що він має величезний вплив на знищення бактерій.

P-value <0.05 поріг

Поріг статистичної значущості, який використовують більшість дослідників (тобто p < 0,05), є довільним. Зважаючи на все, вона має змінюватися залежно від того, як ви навчаєтесь. Якщо ви дійсно не хочете отримати хибнопозитивний результат (наприклад, рішення про небезпечну для життя операцію), вам потрібне низьке порогове значення. Якщо вам дійсно не потрібні хибнонегативні результати (наприклад, при діагностиці агресивних пухлин), вам потрібно провестидослідження високої потужності з подальшим підвищенням порогового значення p-value. Це ілюструє взаємозв'язок між помилками типу 1 (α) і типу 2 (ß ).

Зверніть увагу, що p-значення отримано на основі даних, а не теорії. Ви не можете "довести" свою теорію за допомогою статистично значущого ефекту. Єдине, що ви можете зробити, це спробувати спростувати вашу теорію за допомогою різних досліджень, і якщо вони підтвердяться, ваша теорія залишається в силі. Це фальсифікація.

Помилкові уявлення про p-значення

Деякі поширені помилкові уявлення про р-значення в медичних дослідженнях включають в себе наступні:

• Значне р-значення означає, що ефект або зв'язок є великим або клінічно значущим.
  • Реальність: P-значення лише вказує на ймовірність отримання спостережуваного результату або більш екстремального при нульовій гіпотезі. Він не надає інформації про розмір або клінічну значущість ефекту або зв'язку
• Незначне р-значення означає відсутність ефекту або зв'язку.
  • Реальність: Незначне р-значення лише вказує на те, що спостережуваний результат не є статистично значущим, але це не обов'язково означає, що немає ефекту або зв'язку. Це може бути пов'язано з низькою статистичною потужністю або іншими факторами, такими як помилка вимірювання або заплутані змінні.
• Значення p-value 0,05 є універсальним порогом статистичної значущості.
  • Реальність: Вибір рівня значущості залежить від контексту і має ґрунтуватися на таких факторах, як дизайн дослідження, розмір вибірки та наслідки помилки першого типу. Нижчий рівень значущості може бути доречним у деяких ситуаціях, наприклад, у дослідженнях з множинними порівняннями або високими ставками
• Значне p-значення доводить причинно-наслідковий зв'язок.
  • Реальність: Статистична значущість лише вказує на ймовірність отримання спостережуваного результату або більш екстремального при нульовій гіпотезі. Він не встановлює причинно-наслідковий зв'язок, що вимагає додаткових доказів з боку дизайну дослідження, біологічної правдоподібності та інших факторів.
• Великий розмір вибірки завжди призводить до значущого р-значення.
  • Реальність: Великий розмір вибірки збільшує ймовірність виявлення ефекту або зв'язку, але не гарантує значущого р-значення. Розмір ефекту, варіабельність та інші фактори також відіграють певну роль у визначенні статистичної значущості.

Елкінс, М. Р., Пінто, Р. З., Верхаген, А., Григорович, М., Сьодерлунд, А., Геманн, М., Гомес-Конеса, А., Блантон, С., Брісме, Ж. М., Агарвал, С., Джетт, А., Карстенс, С., Хармс, М., Верхайден, Г., та Шейх, У. (2022). Статистичний висновок через оцінку: рекомендації редакторів журналу Міжнародного товариства фізіотерапії. Журнал мануальної та маніпуляційної терапії, 30(3), 133-138.
Нейман, Дж. та Пірсон, Е.С. (1928) "Про використання та інтерпретацію деяких тестових критеріїв для цілей статистичного висновку". Біометрика, 20А, 175-240.

Гренландія, С., Сенн, С. Д., Ротман, К. Д., Карлін, Д. Б., Пул, К., Гудман, С. Н. та Альтман, Д. Г. (2016). Статистичні тести, P-значення, довірчі інтервали та потужність: путівник по помилковим інтерпретаціям. Європейський журнал епідеміології, 31(4), 337-350.

Kamper S. J. (2019). Інтерпретація результатів 2-Статистична значущість та клінічна значущість: Зв'язок доказів з практикою. Журнал ортопедичної та спортивної фізичної терапії, 49(7), 559-560. 

Карл Поппер, "Припущення та спростування", Лондон: Routledge and Keagan Paul, 1963, pp. 33-39; з Theodore Schick, ed., Readings in the Philosophy of Science, Mountain View, CA: Видавнича компанія "Мейфілд", 2000, с. 9-13

Крістлі, Р.М. (2010). Влада і помилка: Підвищений ризик хибнопозитивних результатів у дослідженнях з недостатньою потужністю. Відкритий епідеміологічний журнал, 3, 16-19.

Флемінг А. Про антибактеріальну дію культур пеніцилію, з особливим посиланням на їх використання при виділенні B. influenzæ. Br J Exp Pathol. 1929 Черв;10(3):226-36. PMCID: PMC2048009.

Еріксон, Р. А. та Раттнер, Б. А. (2020). Вихід за межі p < 0,05 в екотоксикології: Посібник для практиків. Екологічна токсикологія та хімія, 39(9), 1657-1669.