O que é o Problema da Comparação Múltipla? | Estatísticas

O problema da comparação múltipla é a questão que surge quando são efectuados vários testes à mesma amostra. Um exemplo ilustra este facto.

Por exemplo.

Digamos que um estudo analisa os factores de risco prospectivos de lesões de corrida em 5000 corredores principiantes. São testadas diferentes variáveis, uma vez que ainda não se sabe quais as que aumentam o risco. Exemplos: volume de corrida, queda do navicular, ângulo q, força dos quadris e dos glúteos, padrão de batida do calcanhar ou do antepé, sapato minimalista ou maximalista e ADM de dorsiflexão do tornozelo.

Falsos positivos com comparação múltipla

A maioria dos investigadores aceita uma taxa de falsos positivos de 5%, o nível alfa ou de significância. Isto para uma determinada variável, como a força dos quadríceps. Isto significa que se este estudo for realizado cem vezes, cerca de 5 estudos apresentarão um resultado falso positivo, quando na realidade não existe nenhum.

No entanto, os investigadores estão a analisar dez variáveis, e não apenas a força das quadras, dentro da mesma amostra. Isto coloca um problema.

Os investigadores, sem se aperceberem deste problema, conduzem o ensaio. Dois anos mais tarde, chegam os dados que mostram que o padrão de batida do calcanhar e a força dos glúteos são factores de risco para lesões na corrida. Ótimo! É essa a conclusão e o artigo é publicado.

Tal como referido anteriormente, o nível de significância de 5% não significa que exista uma taxa de falsos positivos de 5% neste momento, devido à multiplicidade de variáveis diferentes que estão a ser investigadas. Assim, os investigadores aceitaram implicitamente um risco muito maior de resultados falsos positivos ao efectuarem o ensaio, analisando dez variáveis.

A taxa de erro por família demonstra-o. Com um cálculo bastante simples, podemos verificar a taxa de falsos positivos, que é de 40%! A fórmula é apresentada a seguir.

Soluções para o problema das comparações múltiplas

Penso que podemos concordar que isto constitui um problema. Então, o que é que vamos fazer em relação a isso? Há uma solução. Os investigadores podem fazer correcções para contrariar esta inflação alfa através de uma correção Bonferroni ou Holm. Esta questão é abordada em "Controlo da taxa de erro de tipo 1".

Fórmula da taxa de erro por família:

1 - (1 - ɑ)x

ɑ: nível alfa ou de significância em decimais

x: número de ensaios

Erros de tipo II

No entanto, o ajuste do nível de significância de cada teste individual pode aumentar a probabilidade de cometer um erro do tipo II (falso negativo) em todos os testes. Isto deve-se ao facto de o nível de significância mais rigoroso reduzir o poder de cada teste individual para detetar um efeito ou uma relação verdadeira. Consequentemente, um efeito significativo pode não ser detectado em alguns testes, conduzindo a resultados falsos negativos. Para evitar resultados falsos negativos devido ao problema das comparações múltiplas, podemos utilizar técnicas como o pré-registo de hipóteses, estudos de replicação ou métodos estatísticos mais poderosos, como a inferência Bayesiana. Além disso, é importante conceber cuidadosamente o estudo e as hipóteses a testar para minimizar o número de testes efectuados e garantir que são significativos e relevantes para a questão de investigação.

Wason, J. M. S., & Robertson, D. S. (2021). Controlo das taxas de erro de tipo I em ensaios clínicos com vários braços: Um caso para a taxa de falsa descoberta. Estatísticas farmacêuticas, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Testes múltiplos. Parte I. Procedimentos numa única etapa para o controlo de taxas de erro de tipo I gerais. Aplicações estatísticas em genética e biologia molecular, 3, Artigo13.

Lakens, D., Controlo de erros de tipo 1 por Daniel Lakens, youtube

John Ludbrook (1998). PROCEDIMENTOS DE COMPARAÇÃO MÚLTIPLA ACTUALIZADOS. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x