귀류법

친구가 '나는 어제 저녁 7시에 학원에 있었어'라고 알리바이를 주장한다고 상상해 보세요. 이때 친구의 말이 거짓임을 밝히려면 어떻게 해야 할까요? 일단 친구의 주장이 맞다고 믿어보는 거예요.

'그래, 네가 7시에 학원에 있었다고 치자. 그런데 왜 7시 5분에 집 앞 편의점 영수증에 네 서명이 남아있을까? 5분 만에 학원에서 집까지 순간이동하는 건 불가능하잖아!'처럼 가정이 가져온 명백한 모순을 지적하는 방식이에요.

이렇게 '친구가 학원에 있었다'는 생각이 말이 안 되는 엉터리 결론으로 이어지므로, 원래 주장인 '학원에 있었다'는 거짓이고 '학원에 없었다'가 참이 돼요. 일상에서도 자주 쓰는 아주 강력한 논리적 생각법이에요.

수학에서 어떤 성질이 '영원히 계속된다'거나 '절대로 존재하지 않는다'는 것을 증명하기는 무척 어려워요. 모든 숫자를 끝없이 하나하나 검사해 볼 수는 없으니까요.

이럴 때 귀류법이 빛을 발해요. 고대 그리스의 수학자 유클리드가 처음 보인 '소수(1과 자기 자신으로만 나누어떨어지는 수)는 무한히 많다'는 사실은, 오늘날 흔히 귀류법으로 이렇게 증명해요(유클리드의 원래 증명은 조금 다른 방식이었어요). '소수가 딱 100개처럼 유한하게만 있다고 쳐보자'라고 거꾸로 가정한 뒤, 그 소수들을 전부 곱하고 1을 더한 수를 만들어요. 이 수는 목록에 있는 어떤 소수로도 나누어떨어지지 않아요. 그러니 그 자체로 소수이거나, 목록에 없는 새로운 소수로 나누어떨어져야 해요. 어느 쪽이든 목록 밖의 소수가 있다는 뜻이에요.

'소수가 유한하다'는 가정이 스스로 모순을 낳았으니, 결국 소수는 무한히 많을 수밖에 없다는 결론이 깔끔하게 내려져요. 직접 끝까지 가보지 않고도 무한의 비밀을 밝혀낸 셈이에요.

특히 반대를 가정해 모순을 얻은 뒤 원래 명제를 참으로 확정하는 형태의 귀류법에는 한 가지 중요한 전제가 필요해요. 바로 논리학에서 말하는 배중률(어떤 명제는 참이거나 거짓 중 하나일 뿐, 중간은 없다)이라는 규칙이에요.

'P이거나 P가 아니거나 둘 중 하나뿐'인 세상이어야, 'P가 아니다'가 모순임을 보였을 때 P가 참이라고 확정할 수 있어요. 그래서 배중률을 당연하게 받아들이지 않는 논리 체계(예: 직관주의 논리)에서는 이런 형태의 증명이 인정되지 않을 수 있어요.

현대 수학의 거의 모든 분야는 배중률을 바탕으로 세워져 있기 때문에, 귀류법은 수학의 기초를 단단하게 받쳐주는 가장 우아한 도구로 인정받고 있어요. 반면 '루트 2가 유리수라고 가정하면 모순이 생기니 유리수가 아니다'처럼 '어떤 것이 아니다'를 보이는 귀류법은 배중률 없이도 성립해요.