O que é o P-Hacking? | Estatísticas

P-hacking é um termo utilizado para descrever várias técnicas que os investigadores podem utilizar para aumentar as hipóteses de encontrar resultados estatisticamente significativos no seu estudo, mesmo que os resultados não sejam realmente significativos. Esta é uma forma de manipulação de dados que pode levar à publicação de resultados falsos positivos.

Por exemplo.

Num estudo que compara a eficácia de duas intervenções de fisioterapia diferentes para a dor no ombro relacionada com a coifa dos rotadores, um investigador pode realizar várias análises dos dados, reportando apenas as que mostram uma diferença estatisticamente significativa entre as duas intervenções. Isto é p-hacking porque o investigador está a reportar seletivamente apenas os resultados que apoiam a sua hipótese, ignorando os que não o fazem.

Comparações múltiplas não ajustadas

Outro exemplo de "p-hacking" na investigação em fisioterapia é quando um investigador efectua comparações múltiplas entre diferentes intervenções, mas não ajusta essas comparações múltiplas. Isto pode levar a uma maior probabilidade de encontrar resultados estatisticamente significativos por acaso, mesmo que as intervenções não sejam verdadeiramente diferentes.

Ao remover seletivamente alguns dos dados, o investigador está efetivamente a "p-hacking" os resultados, uma vez que aumenta a probabilidade de encontrar uma diferença estatisticamente significativa entre as duas intervenções, mesmo que não exista qualquer diferença real. O investigador pode então apresentar os dados como se se tratasse de uma comparação justa, o que pode levar a conclusões inexactas e induzir em erro a investigação e o tratamento futuros. Esta é apenas uma das formas de o fazer.

Não intencional

É importante notar que o P-hacking pode acontecer acidentalmente e pode resultar da falta de conhecimentos estatísticos de um investigador ou da pressão para publicar resultados promissores. No entanto, também pode ser uma escolha feita conscientemente com um objetivo em mente. Os investigadores devem registar previamente a conceção do seu estudo e o plano analítico, comunicar todos os resultados e aplicar as técnicas estatísticas adequadas para ter em conta as comparações múltiplas, a fim de evitar o p-hacking. A fim de aumentar a confiança nos resultados, podem também ser utilizados estudos de reprodução e a reprodução independente dos resultados.

Mais informações sobre o registo antes do julgamento

O registo pré-ensaio, que inclui a apresentação de informações completas sobre a conceção da investigação, as intervenções, os resultados e o plano de análise, é o processo de registo de um ensaio clínico antes do seu início. Este procedimento é considerado crucial para aumentar a abertura e minimizar os enviesamentos na investigação clínica. Os investigadores comprometem-se com um conjunto de objectivos e procedimentos ao registarem publicamente um estudo antes da sua realização, o que pode ajudar a evitar a comunicação selectiva de resultados e a adulteração de dados. O registo pré-julgamento também facilita o acesso a dados sobre ensaios em curso e concluídos e evita esforços de investigação redundantes. Os ensaios registados têm maior probabilidade de serem publicados, o que pode reduzir o viés de publicação e garantir que os resultados do estudo estão disponíveis para utilização na prática clínica e na elaboração de políticas. O registo pré-ensaio é um passo importante para garantir que a investigação clínica é conduzida de forma transparente e rigorosa, conduzindo a resultados mais fiáveis e úteis.

Gelman, A., & Loken, E. (2019). O jardim dos caminhos que se bifurcam : Porque é que as comparações múltiplas podem ser um problema, mesmo quando não há "expedição de pesca" ou "p-hacking" e a hipótese de investigação foi colocada antecipadamente ∗.

Daniele Fanelli (2012). Os resultados negativos estão a desaparecer da maioria das disciplinas e dos países. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). O valor do pré-registo para a ciência psicológica: Uma análise concetual. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). A taxa de falsa descoberta positiva: uma interpretação bayesiana e o valor q. The annals of statistics, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Graus de liberdade no planeamento, execução, análise e comunicação de estudos psicológicos: Uma lista de controlo para evitar o p-hacking. Frontiers in Psychology, 7.