マクガーク効果

スマホで短い動画を見ているとしましょう。画面の中の人物が同じ音節を繰り返し発音しています。私たちの耳には「ダ、ダ、ダ」と聞こえます。

今度は目をギュッと閉じて、音だけに集中してみてください。さっきまで「ダ」に聞こえていた音が、突然「バ、バ、バ」に変わります。再び目を開けると、また「ダ」に戻ってしまいます。

実は、動画の音声は最初から最後までずっと「バ」でした。しかし、画面の中の人物の口元は「ガ」と発音する形に動いていたのです。耳と目がそれぞれ別の答えを出した瞬間、脳が両方を混ぜ合わせた「第3の答え」を作り出してしまいました。

この現象を「マクガーク効果」と呼びます。耳と目がペアになって取り組むグループワークのようなものだと考えるとイメージしやすいでしょう。

私たちは言葉を聞き取るとき、耳だけを使っていると思いがちですが、実際はそうではありません。騒がしい居酒屋や教室で友達の話を聞き取ろうとするとき、自然と相手の顔を見ますよね。口の動きが、言葉の聞き取りを大きく助けてくれるからです。

そのため脳は普段から、耳からの情報と目からの情報を照らし合わせ、1つにまとめて処理しています。普段は両者が一致しているので衝突することはありません。グループワークで2人の意見がピッタリ合っている状態です。

ところが実験動画のように、2つの情報が食い違うと問題が起こります。「バ」は上下の唇を閉じて開くことで出る音ですが、「ガ」は舌の奥が上あごの奥に触れて出る音です。目は「唇が閉じていない」と主張し、耳は「唇の音を聞いた」と主張します。

このとき脳は、どちらか一方を切り捨てるのではなく、ちょうど中間にある答えを選びます。舌先を使って発音する「ダ」が、その折衷案なのです。

この錯覚は、耳が悪いから起こるわけではありません。脳が普段から音声と視覚情報をあわせて処理しているという、ごく正常な働きゆえに起こる現象です。真面目に協力していたペアが、食い違った資料を渡されたせいで不思議な結論を出してしまうのと似ています。

仕組みを知っていても、やはりそう聞こえてしまう点がこの錯覚の大きな特徴です。「本当は『バ』だ」と事前に分かっていても、目を開けた瞬間に再び合成された音が聞こえてきます。感覚を統合する処理は、私たちが意識する前に自動的に完了してしまうからです。

ただし、誰にでも同じ強さで起こるわけではありません。影響を強く受ける人もいれば、ほとんど惑わされない人もいます。使う言語や音節によっても錯覚の度合いは変わります。また、この錯覚をどれほど強く感じるかと、日常会話で口元の動きをどれほどうまく活用できているかは必ずしも一致しないという研究もあります。

音声と口の動きが一致している普段の会話では、この能力は聞き取りを助ける強力な武器になります。意図的に食い違わせた情報に出会ったときにだけ、こうした面白い錯覚として顔を出すのです。