맥거크 효과

휴대폰으로 짧은 영상 하나를 본다고 해 볼게요. 화면 속 사람이 같은 음절을 되풀이해 말하고 있어요. 우리 귀에는 '다, 다, 다' 하고 들려요.

이번에는 눈을 꼭 감고 소리만 들어 보세요. 방금까지 '다'였던 소리가 갑자기 '바, 바, 바'로 바뀌어요. 다시 눈을 뜨면 또 '다'로 돌아와요.

영상의 소리는 처음부터 끝까지 '바'였어요. 다만 화면 속 사람의 입은 '가'라고 말하는 모양으로 움직이고 있었죠. 귀와 눈이 서로 다른 답을 내민 순간, 뇌가 둘을 섞은 제3의 답을 만들어 낸 거예요.

이 현상을 맥거크 효과라고 불러요. 귀와 눈이 짝을 이룬 조별 과제라고 생각하면 이해하기 쉬워요.

우리는 말을 들을 때 귀만 쓴다고 생각하지만 실제로는 그렇지 않아요. 시끄러운 급식실에서 친구 이야기를 알아들으려면 저절로 친구 얼굴을 보게 되잖아요. 입모양이 소리를 알아듣는 데 큰 도움을 주기 때문이에요.

그래서 뇌는 평소에 귀가 낸 답과 눈이 낸 답을 함께 놓고 하나로 정리해요. 대개는 두 답이 같으니 다툴 일이 없어요. 조별 과제로 치면 두 사람의 의견이 맞아떨어지는 상황이죠.

그런데 실험 영상처럼 두 답이 어긋나면 문제가 생겨요. '바'는 두 입술을 붙였다 떼며 내는 소리이고, '가'는 혀의 뒷부분이 입천장 안쪽(여린입천장)에 닿았다 떨어지며 나는 소리예요. 눈은 입술이 붙는 장면을 보지 못했다고 말하고, 귀는 입술 소리를 들었다고 말해요.

이때 뇌는 한쪽을 버리는 대신 가운데쯤에 있는 답을 골라요. 혀끝에서 나는 '다'가 그 절충안이에요.

이 착각은 귀가 나빠서 생기는 일이 아니에요. 뇌가 평소 소리와 입모양을 함께 쓰는 정상적인 방식 때문에 나타나는 현상이에요. 성실하게 의견을 맞추던 짝꿍이 어긋난 자료를 받으면 엉뚱한 결론을 낼 수 있는 것과 비슷해요.

원리를 알고 봐도 그대로 들린다는 점이 이 착각의 특징이에요. 정답을 미리 알아도 눈을 뜨는 순간 다시 섞인 소리가 들려와요. 감각을 합치는 일이 우리가 마음먹기 전에 자동으로 끝나기 때문이에요.

다만 누구에게나 똑같은 세기로 나타나지는 않아요. 어떤 사람은 크게 흔들리고 어떤 사람은 거의 흔들리지 않아요. 쓰는 언어나 음절에 따라서도 정도가 달라져요. 이 착각을 얼마나 강하게 겪는지가 실제 대화에서 입모양을 얼마나 잘 활용하는지와 꼭 일치하지는 않는다는 연구도 있어요.

소리와 입모양이 잘 맞는 평소 대화에서는 이 능력이 도움만 줘요. 어긋난 자료를 만났을 때에만 이런 재미있는 착각으로 드러날 뿐이에요.