제1종 오류와 제2종 오류

불확실성이 있을 때, 우리는 특정의 상태(state)를 고집할 수 없고 여러 상태가 있을 수 있음을 받아들여야 한다. 이 경우 통계적 추론(statistical inference)을 하게 되는데, 이는 발생할 수 있는 여러 상태에 대해 각각의 확률(probability)을 부여하는 방식에서 시작한다. 물론 복잡한 과정을 거쳐 특정의 판단을 내릴 때에도 그것이 확실한 것이 아님을 분명히 밝혀 두어야 한다. 즉 특정의 판단이 어느 정도 불확실한 것인가를 언급하는 일은 매우 중요하다. 예를 들어 여론조사기관은 여론조사결과를 발표할 때 오차의 한계범위를 반드시 언급한다.

통계적 추론에서 가장 기본적인 것이면서도 그 중요성을 놓치는 개념 중 하나가 제1종 오류(type 1 error)와 제2종 오류(type 2 error)가 아닌가 생각한다. 제1종 오류는 귀무가설(null hypothesis)이 참(true)임에도 불구하고 귀무가설을 기각하는 오류이고, 제2종 오류는 귀무가설이 거짓(false)임에도 불구하고 귀무가설을 기각하지 못하는 오류이다. 제1종 오류와 제2종 오류는 아무리 훌륭한 통계학 기법을 이용하더라도 피할 수 없는 잘못이다.

<표1>은 두 가지 오류를 보다 쉽게 정리하고 있다. 우선 참일 때 참이라 추론하는 것은 올바른 추론이다. 또한 거짓일 때 거짓이라 추론하는 것도 올바른 추론이다. 하지만 참일 때 거짓이라 추론하는 것은 오류인데, 이것이 제1종 오류이다. 또한 거짓일 때 참이라 추론하는 것도 오류인데, 이것이 제2종 오류이다. 불확실성이 있어서 참인지 거짓인지를 확실하게 알 수 없을 때, 제1종 오류와 제2종 오류의 불가피성은 이처럼 명확하다.

 

<표 1> 제1종 오류와 제2종 오류

구분	참(true)이라 추론	거짓(false)이라 추론
참(true)	올바른 추론	제1종 오류
거짓(false)	제2종 오류	올바른 추론

 

물론 제1종 오류와 제2종 오류는 적을수록 좋다. 제1종 오류가 발생하지 않을 가능성을 유의수준(size of the test, significance level)이라 부르고, 제2종 오류가 발생하지 않을 가능성을 검정력(power of the test)이라 부른다. 우리가 흔히 유의수준 몇 %라는 표현을 쓰는데, 이는 제1종 오류가 발생하지 않을 가능성을 몇 %로 설정함을 의미할 뿐이다. 쉽게 말해 유의수준 몇 %에서 통계적 추론을 하였다면, 이 통계적 추론에는 오류가 있을 수밖에 없으며 그 중에서 제1종 오류가 몇 % 발생할 수 있음을 받아들인다는 뜻이다.

물론 유의수준을 높이면 제1종 오류가 발생할 가능성은 낮아진다. 하지만 그 대가가 있다. 유의수준을 높일수록 검정력이 낮아져서 제2종 오류가 발생할 가능성이 높아지기 때문이다. 그것은 <표1>을 보면 쉽게 알 수 있다. 따라서 유의수준을 지나치게 높게 설정하는 것은 좋지 않으며, 유의수준은 검정력을 고려하여 설정하는 것이 보통이다. 흔히 5%의 유의수준을 많이 이용하는데 이 값은 유의수준과 검정력을 모두 고려하여 취한 값이다.

그렇다면 제1종 오류와 제2종 오류 중 어느 것이 더 심각한 오류일까? 통계학자들은 제1종 오류가 제2종 오류보다 더 심각하다고 생각한다. 그래서 대부분의 통계적 추론은 유의수준을 반드시 언급하지만 검정력을 반드시 언급하지는 않는다.

왜 제1종 오류가 제2종 오류보다 더 심각하다고 생각할까? 그 이유를 실감하는 것은 어려운 일이 아니다. 통계학의 창시자인 파스칼의 이야기를 소개하기로 한다. 흔히 파스칼의 도박(Pascal’s Wager)이라고 불리워지는데 ‘신의 존재에 베팅하라’는 교훈으로 유명하다.

그 내용은 <표1>과 정확히 같지만 표현만 달리하여 <표2>와 같이 말할 수 있다. 우선 신이 존재할 때 신을 믿는 것은 올바른 판단이다. 또한 신이 존재하지 않을 때 신을 믿지 않는 것도 올바른 판단이다. 하지만 신이 존재할 때 신을 믿지 않는 것은 제1종 오류이고, 신이 존재하지 않을 때 신을 믿는 것은 제2종 오류이다. 그렇다면 제1종 오류와 제2종 오류 중 어느 것이 더 심각할까? 제1종 오류는 신이 존재할 때 신을 믿지 않는 것이므로 그 대가는 지옥에 가는 것이다. 반면에 제2종 오류는 신이 존재하지 않을 때 신을 믿는 것이므로 그 대가는 살아 생전 종교활동을 해야 하는 불편이다. 도대체 어느 것이 심각할까? 당연히 제1종 오류가 더 심각한 문제이다. 지옥에 가는 것은 종교활동의 불편보다 훨씬 심각하기 때문이다. 그러니 신이 존재하는지에 대해 확실히 알 수 없다면, 신을 믿는 것이 현명하다고 파스칼은 말했다.

    

<표 2> 파스칼의 도박(Pascal’s Wager)

구분	신을 믿음	신을 믿지 않음
신이 존재	올바른 판단	제1종 오류
신이 없음	제2종 오류	올바른 판단

 

제1종 오류가 제2종 오류보다 더 심각하다고 간주하는 견해는 법률적 판단에도 흔히 작용한다. <표3>을 보면 피고가 유죄 또는 무죄인 경우 판결의 오류를 보여 준다. 우선 피고가 무죄일 때 무죄 판결은 올바른 판단이다. 또한 피고가 유죄일 때 유죄 판결도 올바른 판단이다. 하지만 피고가 무죄일 때 유죄 판결은 제1종 오류이고, 피고가 유죄일 때 무죄 판결은 제2종 오류이다. 사법부는 제1종 오류를 제2종 오류보다 훨씬 더 심각한 것으로 받아들인다. 그 이유는 유죄인 피고를 풀어주는(제2종 오류) 한이 있더라도 무죄인 피고를 처벌(제1종 오류)하는 일은 없어야 하기 때문이다.

    

<표 3> 무죄판결과 유죄판결

구분	무죄 판결	유죄 판결
무죄	올바른 판결	제1종 오류
유죄	제2종 오류	올바른 판결

 

불확실성이 있다면, 최근 우리나라의 여러 분야에서 벌어지는 갈등 중 상당한 부분은 올바른 판단이 아니라 오류에 근거하여 발생할 것이다. 물론 그 중에는 제2종 오류도 있다. 쉽게 말해, 잘못했음에도 불구하고 처벌하지 못하는 오류이다. 이건 엄연히 잘못이다. 하지만 제2종 오류보다는 제1종 오류가 훨씬 더 심각한 잘못임을 알아야 한다. 이 경우 제1종 오류를 쉽게 표현하면, 잘못하지 않았음에도 불구하고 처벌하는 것이다. 얼핏 보아도 매우 심각한 문제임에 틀림없는데, 우리는 잘못하지 않은 사람을 처벌하려고 하지는 않는가?

이에 대해 다음과 같이 항변하는 사람도 있을 것이다. 잘못했음에도 불구하고 처벌하지 못하는 오류를 줄여야 하지 않겠는가? 하지만 이미 언급한 바와 같이 제2종 오류를 줄이려면 제1종 오류는 반드시 커진다. 이를 쉽게 표현하면 다음과 같다. 잘못한 사람을 처벌하지 못하는 오류를 줄이려면, 그것으로 인해 잘못하지 않은 사람이 처벌받는 오류가 반드시 커진다. 그렇다면 우리는 자문해 보아야 한다. 제2종 오류를 줄이기 위해 제1종 오류를 서슴없이 저지르는 것은 아닐까? 쉽게 말해, 잘못한 사람을 더 많이 처벌하기 위해 잘못하지 않은 사람도 더 많이 처벌하고 있는 것은 아닐까? 죄 있는 자에게 돌을 던져야 한다는 압도적인 흐름 속에 죄 없는 자에게까지 더 많은 돌을 던지고 있는 것은 아닐까?