Що таке P-хакінг? | Статистика.

P-хакінг - це термін, що використовується для опису різних методів, які дослідники можуть використовувати, щоб збільшити шанси знайти статистично значущі результати в своєму дослідженні, навіть якщо ці результати насправді не є значущими. Це форма маніпуляції даними, яка може призвести до публікації хибнопозитивних результатів.

Наприклад.

У дослідженні, яке порівнює ефективність двох різних фізіотерапевтичних втручань для лікування болю в плечі, пов'язаного з ротаторною манжетою, дослідник може провести кілька аналізів даних, звітуючи лише про ті, які показують статистично значущу різницю між двома втручаннями. Це p-хакінг, оскільки дослідник вибірково повідомляє лише ті результати, які підтверджують його гіпотезу, ігноруючи ті, які її не підтверджують.

Кілька нескоригованих порівнянь

Іншим прикладом p-хакінгу у фізіотерапевтичних дослідженнях є ситуація, коли дослідник проводить множинні порівняння між різними втручаннями, але не робить поправки на ці множинні порівняння. Це може призвести до збільшення шансів знайти статистично значущі результати випадковонавіть якщо втручання насправді не відрізняються.

Вибірково вилучаючи деякі дані, дослідник фактично здійснює "p-хакінг" результатів, оскільки це підвищує ймовірність виявлення статистично значущої різниці між двома втручаннями, навіть якщо реальної різниці не існує. Потім дослідник може представити дані так, ніби це чесне порівняння, що може призвести до неточних висновків і ввести в оману майбутні дослідження та лікування. Це лише один із способів зробити це.

Ненавмисно

Важливо зазначити, що P-хакінг може статися випадково, а може бути наслідком браку статистичних знань у дослідника або тиску, пов'язаного з необхідністю опублікувати багатообіцяючі результати. Але це також може бути свідомим вибором, зробленим з певною метою. Дослідники повинні заздалегідь зареєструвати свій дизайн дослідження та аналітичний план, повідомити про всі результати та застосувати належні статистичні методи для обліку множинних порівнянь, щоб запобігти p-хакінгу. Щоб підвищити довіру до результатів, можуть також використовуватися реплікаційні дослідження та незалежне відтворення результатів.

Більше про досудову реєстрацію

Доклінічна реєстрація, яка включає подання вичерпної інформації про дизайн дослідження, втручання, результати та план аналізу, - це процес реєстрації клінічного випробування до його початку. Ця процедура вважається вирішальною для підвищення відкритості та мінімізації упередженості в клінічних дослідженнях. Дослідники беруть на себе зобов'язання дотримуватися певних цілей і процедур, публічно реєструючи дослідження перед його проведенням, що може допомогти запобігти вибірковому висвітленню результатів і фальсифікації даних. Дореєстраційна реєстрація також полегшує доступ до даних про поточні та завершені випробування і запобігає дублюванню дослідницьких зусиль. Зареєстровані дослідження мають більше шансів бути опублікованими, що може зменшити упередженість публікацій і забезпечити доступність результатів дослідження для використання в клінічній практиці та формуванні політики. Доклінічна реєстрація є важливим кроком на шляху до забезпечення прозорого та суворого проведення клінічних досліджень, що призводить до отримання більш надійних та корисних результатів.

Гельман, А., & Локен, Е. (2019). Сад розгалужених доріжок: Чому множинні порівняння можуть бути проблемою, навіть якщо немає "рибальської експедиції" або "p-хакінгу", а гіпотеза дослідження була висунута заздалегідь ∗.

Даніеле Фанеллі (2012). Негативні результати зникають з більшості дисциплін та країн. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Лейкенс, Д. (2019). Значення попередньої реєстрації для психологічної науки: Концептуальний аналіз. 心理学評論, 62(3), 221-230.

Стори, Дж. Д. (2003). Позитивна частота помилкових виявлень: байєсівська інтерпретація та q-значення. Аннали статистики, 31(6), 2013-2035.

Віхертс, Я. М., Вельдкамп, К. Л. С., Аугустейн, Х. Е. М., Баккер, М., та ван Аерт, Р. К. (2016). М., & ван Ассен, МАЛМ (2016). Ступінь свободи у плануванні, проведенні, аналізі та звітності психологічних досліджень: Чек-лист для уникнення p-хакінгу. Frontiers in Psychology, 7.