O que é o poder estatístico? | Estatísticas

O poder é a probabilidade a longo prazo de uma série de estudos idênticos detetar um efeito estatisticamente significativo (por exemplo, p<0,05), caso exista. A probabilidade de um erro de tipo 2 numa série de estudos idênticos é igual a um menos o poder (1-ß, frequentemente 20%).

Por exemplo.

São efectuados cem estudos na mesma população com a mesma estrutura de tratamento A vs tratamento B. A verdadeira diferença de tratamento na vida real entre A e B é uma probabilidade 30% maior de recuperação total no tratamento A. Quando as estatísticas são efectuadas sobre estes cem estudos (mesma população, mesma variância, mesmo desvio padrão), em média cerca de 20 estudos não mostrarão um efeito estatisticamente significativo. Esta é a taxa de erro do tipo 2, ou falsos negativos - diretamente relacionada com o poder estatístico (1-ß).

Por outras palavras, um estudo com uma alimentação inadequada mostrará menos frequentemente um efeito estatisticamente significativo, embora exista efetivamente uma diferença.

Isto influencia a potência

A potência é influenciada por alguns factores, tal como acontece com os valores de p.

• Tamanho da amostra: maior amostra = maior poder (diferenças mais claras entre grupos, menos ruído nos dados)
• Variância: menor variância = maior potência
• Tamanhos de efeito: tamanhos de efeito maiores = mais poder (mais fácil de detetar por um teste)
• Tipo de teste estatístico: alguns testes produzem mais poder em troca de mais pressupostos (não há almoços grátis em estatística)

É fundamental compreender, no entanto, que o poder estatístico (ex. 80%) existe para um instrumento de medição, para um ponto no tempo, para um tamanho de efeito.

Baixo poder = estudo não fiável

Assim, um estudo com pouca potência aumenta o risco de erros de tipo 2 (falsos negativos), mas também aumenta o risco de erros de tipo 1 (falsos positivos), com efeitos inflacionados. A isto chama-se "a maldição do vencedor". É por esta razão que não se pode simplesmente utilizar várias medidas de resultados num tamanho de amostra e medir em vários pontos no tempo sem deixar cair o poder estatístico. Os bons investigadores e clínicos sabem que as medidas de resultados secundários são meramente sugestivas porque o estudo não tem potência para essa quantidade de medidas. São necessários novos estudos para confirmar estas sugestões. O problema acima descrito é designado por problema de comparação múltipla.

Imagino que isto pareça um pouco contra-intuitivo. Vejamos um exemplo.

Por exemplo.

Está a dar uma aula a um grupo de 200 alunos e decide dividi-los em dois grupos. O objetivo do seu estudo é verificar se existem diferenças entre os sexos, ou seja, se há mais mulheres num grupo do que no outro. Não há qualquer diferença. Em seguida, analisa-se a cor dos olhos, a cor do cabelo, o comprimento do dedo indicador, a força de resistência no supino, a qualidade de vida, a idade, a quantidade de irmãos, etc. É provável que encontre algures um resultado estatisticamente significativo. Este é o problema da comparação múltipla.

Soluções

Para evitar estudos com fraca potência e o risco de falsos positivos ou falsos negativos, os investigadores devem planear os seus estudos com uma potência adequada. Para tal, é necessário considerar factores como a dimensão da amostra, a dimensão do efeito, a variância e o teste estatístico utilizado. Os testes múltiplos também apresentam um risco de falsos positivos, que pode ser resolvido através de métodos como o ajuste do nível de significância ou o controlo da taxa de falsas descobertas. Ao compreender o conceito de poder estatístico e a sua importância nos testes de hipóteses, os investigadores podem conceber estudos que produzam resultados fiáveis e significativos.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Testes estatísticos, valores P, intervalos de confiança e potência: um guia para interpretações incorrectas. Revista Europeia de Epidemiologia, 31(4), 337-350. https://doi.org/10.1007/s10654-016-0149-3

Ingre M. (2013). Porque é que os pequenos estudos de baixa potência são piores do que os grandes estudos de alta potência e como se proteger contra resultados "triviais" na investigação: comentário a Friston (2012). NeuroImage, 81, 496-498. https://doi.org/10.1016/j.neuroimage.2013.03.030

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Testes estatísticos, valores P, intervalos de confiança e potência: um guia para interpretações incorrectas. Revista Europeia de Epidemiologia, 31(4), 337-350. https://doi.org/10.1007/s10654-016-0149-3