다중 비교 문제 설명

다음으로 이동

학습

다중 비교 문제란 무엇인가요? | 통계

다중 비교 문제는 동일한 샘플에 대해 여러 테스트를 수행할 때 발생하는 문제입니다. 예시를 통해 이를 설명합니다.

예.

초보 러너 5,000명을 대상으로 달리기 부상의 잠재적 위험 요인을 조사하는 연구가 있다고 가정해 보겠습니다. 어떤 변수가 위험을 증가시킬지 아직 알 수 없기 때문에 다양한 변수를 테스트하고 있습니다. 예를 들면 러닝 볼륨, 네비컬 드롭, 큐앵글, 대퇴사두근 및 둔근 강도, 뒤꿈치 대 앞발 타격 패턴, 미니멀리스트 신발 대 맥시멀리스트 신발, 발목 배측 굴곡 ROM 등이 있습니다.

다중 비교를 통한 오탐

대부분의 연구자들은 5%의 오탐률, 즉 알파 또는 유의 수준을 받아들입니다. 이는 대퇴사두근 강도와 같은 주어진 변수에 대한 것입니다. 즉, 이 연구를 100번 수행하면 실제로는 없는데도 약 5번의 연구에서 위양성 결과가 나온다는 뜻입니다.

하지만 연구진은 동일한 표본 내에서 대퇴사두근 강도뿐만 아니라 10가지 변수를 조사하고 있습니다. 이는 문제가 됩니다.

연구진은 이 문제를 모른 채 실험을 진행합니다. 2년 후 데이터에 따르면 뒤꿈치 타격 패턴과 둔근 근력이 달리기 부상의 위험 요인으로 나타났습니다. 좋아요! 이것이 결론이고 논문이 출판됩니다.

앞서 언급했듯이 유의 수준이 5%라는 것은 연구 중인 다양한 변수가 많기 때문에 현재로서는 오탐률이 5%라는 것을 의미하지는 않습니다. 따라서 연구자들은 10가지 변수를 살펴보는 실험을 진행함으로써 오탐 결과가 발생할 위험이 훨씬 더 크다는 것을 암묵적으로 인정했습니다.

가족별 오류율을 보면 이를 알 수 있습니다. 아주 간단한 계산으로 오탐률을 확인할 수 있는데, 40%입니다! 공식은 아래와 같습니다.

다중 비교 문제에 대한 해결책

이것이 문제가 된다는 데 동의할 수 있을 것 같습니다. 그렇다면 어떻게 해야 할까요? 해결책이 있습니다. 연구자는 본페로니 보정 또는 홈 보정을 통해 이러한 알파 인플레이션에 대응하는 보정을 수행할 수 있습니다. 이에 대해서는 "유형 1 오류율 제어"에서 설명합니다.

제품군별 오류율 공식:

1 - (1 - ɑ)x

ɑ: 소수점 단위의 알파 또는 유의 수준

X: 테스트 횟수

유형 II 오류

그러나 각 개별 테스트의 유의 수준을 조정하면 모든 테스트에서 유형 II 오류(위음성) 가 발생할 확률이 높아질 수 있습니다. 유의 수준이 엄격할수록 각 개별 테스트의 실제 효과 또는 관계를 감지하는 힘이 감소하기 때문입니다. 따라서 일부 테스트에서는 중요한 효과를 놓쳐 위음성 결과가 나올 수 있습니다. 다중 비교 문제로 인한 위음성 결과를 피하기 위해 가설 사전 등록, 복제 연구 또는 베이지안 추론과 같은 보다 강력한 통계 방법과 같은 기술을 사용할 수 있습니다. 또한, 수행되는 테스트의 수를 최소화하고 연구 질문과 의미 있고 관련성이 있는지 확인하기 위해 연구와 테스트할 가설을 신중하게 설계하는 것이 중요합니다.