Что такое P-Value? | Статистика

Проще говоря, p-значение выражает, насколько ты удивлен полученными данными, если предположить, что никакого эффекта нет. Чем ниже p-значение, тем более несовместимыми кажутся данные с твоей моделью (то есть с предположением об отсутствии эффекта).

Эг.

Лечение А сравнивается с лечением Б, ты предполагаешь, что эффекта нет или различий нет; ты ожидаешь, что нулевая гипотеза окажется верной. Ты проводишь тест и получаешь p-значение 0,02. Это значит, что собранные тобой данные довольно удивительны, учитывая, что ты предполагал, что группы не будут отличаться.

Значение p-value существует для того, чтобы защитить себя от случайностей. Если ты проводишь исследование, есть шанс, что эффекты, которые ты видишь, просто случайны - или шум данных, как мы его называем. Вот почему ты можешь увидеть заметные различия в средних значениях между группами, но не увидеть статистически значимого эффекта. Это может происходить и в обратную сторону. Исследование может показать незначительный результат, но истинный эффект может быть; возможно, потому, что размер выборки просто слишком мал.

Что влияет на p-значение?

На P-значения влияют несколько разных факторов: размер выборки, размер эффекта и тип теста с его допущениями.

• Размер выборки: чем больше группа, тем быстрее ты получишь статистически значимые результаты при небольших различиях - и наоборот.
• Размер эффекта: чем больше размер эффекта, тем быстрее ты получишь статистически значимые результаты даже с небольшими группами - и наоборот.
• Тип теста: тест становится более чувствительным к различиям при определенных предположениях, например, о распределении данных, независимости мер, гомоскедастичности, одностороннем против двустороннего, межгрупповом против внутригруппового и т.д.

Эг. 

Огромное исследование может обнаружить статистически значимые результаты даже при самых незначительных эффектах. Эти эффекты могут ничего не значить. Именно здесь вступает в игру клиническая значимость.В оригинальном исследовании пенициллина использовалась крошечная выборка, чтобы данные свидетельствовали об огромном эффекте уничтожения бактерий.

Порог P-значения <0,05

Порог статистической значимости, который использует большинство исследователей (то есть p < 0.05), просто произволен. Все должно меняться в зависимости от настроек твоего кабинета. Если ты действительно не хочешь получить ложноположительные результаты (например, решение о проведении опасной для жизни операции), тебе нужно низкое пороговое число. Если тебе действительно не нужны ложноотрицательные результаты (например, при диагностике агрессивных опухолей), тебе нужно мощноеисследование с впоследствии более высоким пороговым числом p-value. Это иллюстрирует отношения между Тип 1 (α) и тип 2 (ß) ошибки.

Обрати внимание, что p-значение выводится из данных, а не из теории. Ты не можешь "доказать" свою теорию с помощью статистически значимого эффекта. Единственное, что ты можешь сделать, это попытаться опровергнуть свою теорию с помощью различных исследований, если они выдержат, то твоя теория устоит. Это и есть фальсификация.

Заблуждения, связанные с p-значением

Среди распространенных заблуждений о p-значении в медицинских исследованиях можно назвать следующие:

• Значимое p-значение означает, что эффект или ассоциация велики или клинически значимы.
  • Реальность: p-значение указывает лишь на вероятность получения наблюдаемого результата или более экстремального при нулевой гипотезе. Он не дает информации о размере или клинической значимости эффекта или ассоциации
• Незначительное p-значение означает, что эффекта или ассоциации нет.
  • Реальность: Незначительное p-значение говорит лишь о том, что наблюдаемый результат не является статистически значимым, но это не обязательно означает, что эффекта или ассоциации нет. Это может быть связано с низкой статистической мощностью или другими факторами, такими как ошибка измерения или сбивающие с толку переменные.
• Значение p-value 0.05 - это универсальный порог статистической значимости.
  • Реальность: Выбор уровня значимости зависит от контекста и должен основываться на таких факторах, как дизайн исследования, размер выборки и последствия ошибки первого типа. Более низкий уровень значимости может быть уместен в некоторых ситуациях, например, в исследованиях с множественными сравнениями или высокими ставками.
• Значимое p-значение доказывает причинно-следственную связь.
  • Реальность: Статистическая значимость указывает лишь на вероятность получения наблюдаемого результата или более экстремального при нулевой гипотезе. Он не устанавливает причинно-следственную связь, что требует дополнительных доказательств, связанных с дизайном исследования, биологическим правдоподобием и другими факторами.
• Большой размер выборки всегда приводит к значимому p-значению.
  • Реальность: Большой размер выборки увеличивает мощность обнаружения эффекта или ассоциации, но не гарантирует значимого p-значения. Размер эффекта, вариативность и другие факторы также играют роль в определении статистической значимости.

Elkins, M. R., Pinto, R. Z., Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, J. M., Agarwal, S., Jette, A., Karstens, S., Harms, M., Verheyden, G., & Sheikh, U. (2022). Статистический вывод через оценку: рекомендации Международного общества редакторов физиотерапевтических журналов. Журнал мануальной и манипулятивной терапии, 30(3), 133-138.
Нейман, Дж. и Пирсон, Е.С. (1928) Об использовании и интерпретации некоторых тестовых критериев для целей статистического вывода. Biometrika, 20A, 175-240.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Статистические тесты, значения P, доверительные интервалы и мощность: руководство по неправильной интерпретации. Европейский журнал эпидемиологии, 31(4), 337-350.

Kamper S. J. (2019). Интерпретация результатов 2-Статистическая значимость и клиническая значимость: Связь доказательств с практикой. Журнал ортопедической и спортивной физической терапии, 49(7), 559-560. 

Карл Поппер, "Догадки и опровержения", Лондон: Routledge and Keagan Paul, 1963, pp. 33-39; из книги Theodore Schick, ed., Readings in the Philosophy of Science, Mountain View, CA: Mayfield Publishing Company, 2000, pp. 9-13

Кристли, Р.М. (2010). Сила и ошибка: Повышенный риск ложноположительных результатов в исследованиях с недостаточной мощностью. Открытый эпидемиологический журнал, 3, 16-19.

Fleming A. On the Antibacterial Action of Cultures of a Penicillium, with Special Reference to Their Use in Isolation of B. influenzæ. Br J Exp Pathol. 1929 Jun;10(3):226-36. PMCID: PMC2048009.

Erickson, R. A., & Rattner, B. A. (2020). Moving Beyond p < 0.05 в экотоксикологии: Руководство для практиков. Экологическая токсикология и химия, 39(9), 1657-1669.