Cos'è il problema del confronto multiplo? | Statistica

Il problema del confronto multiplo è quello che si presenta quando vengono eseguiti più test sullo stesso campione. Un esempio lo illustrerà.

Eg.

Supponiamo che uno studio esamini i fattori di rischio prospettici per gli infortuni nella corsa in 5000 corridori principianti. Vengono testate diverse variabili, poiché non si sa ancora quali aumentino il rischio. Alcuni esempi sono: volume di corsa, dislivello navicolare, angolo Q, forza dei quadricipiti e dei glutei, modello di appoggio sul tallone o sull'avampiede, scarpa minimalista o massimalista e ROM di dorsiflessione della caviglia.

Falsi positivi con confronto multiplo

La maggior parte dei ricercatori accetta un tasso di falsi positivi del 5%, il livello alfa o di significatività. Questo per una determinata variabile come la forza dei quadricipiti. Ciò significa che se questo studio viene condotto cento volte, circa 5 studi mostreranno un risultato falso positivo, mentre in realtà non ce n'è nessuno.

Tuttavia, i ricercatori stanno esaminando dieci variabili, non solo la forza del quadrupede, all'interno dello stesso campione. Questo pone un problema.

I ricercatori, all'oscuro di questo problema, conducono la sperimentazione. Due anni dopo arrivano i dati che dimostrano come il modello di battuta del tallone e la forza dei glutei siano un fattore di rischio per gli infortuni nella corsa. Grande! Questa è la conclusione e l'articolo viene pubblicato.

Come già detto, il livello di significatività del 5% non significa che ci sia un tasso di falsi positivi del 5% a questo punto, a causa della pletora di variabili diverse che vengono studiate. Quindi i ricercatori hanno implicitamente accettato un rischio molto maggiore di risultati falsi positivi conducendo lo studio, esaminando dieci variabili.

Il tasso di errore per famiglia lo dimostra. Con un calcolo abbastanza semplice, possiamo verificare il tasso di falsi positivi, che è del 40%! La formula è riportata di seguito.

Soluzioni al problema del confronto multiplo

Penso che possiamo concordare sul fatto che questo rappresenti un problema. E allora cosa facciamo? C'è una soluzione. I ricercatori possono apportare correzioni per contrastare questa inflazione alfa effettuando una correzione di Bonferroni o di Holm. Questo aspetto è discusso in "Controllo del tasso di errore di tipo 1".

Formula del tasso di errore familiare:

1 - (1 - ɑ)x

ɑ: alfa o livello di significatività in decimali

x: numero di test

Errori di tipo II

Tuttavia, la regolazione del livello di significatività di ogni singolo test può aumentare la probabilità di commettere un errore di tipo II (falso negativo) in tutti i test. Questo perché il livello di significatività più severo riduce la potenza di ogni singolo test nel rilevare un effetto o una relazione vera. Di conseguenza, in alcuni test può sfuggire un effetto significativo, con conseguenti risultati falsi negativi. Per evitare risultati falsi negativi dovuti al problema del confronto multiplo, possiamo utilizzare tecniche come la pre-registrazione delle ipotesi, studi di replicazione o metodi statistici più potenti come l'inferenza bayesiana. Inoltre, è importante progettare con cura lo studio e le ipotesi da testare per ridurre al minimo il numero di test condotti e garantire che siano significativi e rilevanti per la domanda di ricerca.

Wason, J. M. S., & Robertson, D. S. (2021). Controllo dei tassi di errore di tipo I negli studi clinici a più bracci: Un caso per il tasso di scoperta dei falsi. Statistica farmaceutica, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Test multipli. Parte I. Procedure a passo singolo per il controllo dei tassi di errore generale di tipo I. Applicazioni statistiche in genetica e biologia molecolare, 3, articolo 13.

Lakens, D., Controllo degli errori di tipo 1 di Daniel Lakens, youtube

John Ludbrook (1998). PROCEDURE DI CONFRONTO MULTIPLO AGGIORNATE. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x