ハルシネーション

友だちと「文章のしりとりリレー」をしていると想像してみてください。前の人が出した言葉のあとに、いちばん自然につながる言葉を選んで文を完成させていく遊びです。

生成AI（大規模言語モデル）も、基本的にはこれとまったく同じ方法で文章を書いています。AIは、人間のように質問の本当の意味を深く理解して答えているわけではありません。これまで学習した膨大な文章をもとに「この質問のあとには、こんな言葉が来るのがいちばん自然だな」と計算して、単語を一つずつ並べているだけなのです。

問題は、正確な情報がないときでも、AIが「わかりません」と言うより、もっともらしい答えを作ってしまいがちなことです。答えが事実かどうかを別途確かめる仕組みは、基本的にはありません。文法がなめらかで文脈に合ったもっともらしい文づくりにだけ集中するため、世の中に存在しないでたらめな情報を、本物のように作り出してしまうのです。

ハルシネーションはAIが愚かだから起こるのではなく、言語を生成する数学的な仕組みによって生じる、原理的に避けにくい現象です。

大規模言語モデルは、ネット上の文章や書籍、文書など膨大なテキストを読み、前の文脈のあとにどの単語が来る確率が高いかを学習しています。たとえば「日本の首都は」のあとには、高い確率で「東京」が来ることを統計的に知っているわけです。ところが、学習データにほとんど出てこなかった内容や、まったくない内容、似た情報が混ざりやすい質問、間違った前提を含む質問では、統計的なすき間ができてしまいます。

そのときAIは、すき間を埋めるために、これまで学んだたくさんの表現を統計的にこね合わせて、新しい答えを創作してしまいます。文章力の高いモデルほど、間違った内容もなめらかな論理で包んで出してくるため、人間はだまされやすくなります。

ハルシネーションは、AIを安心して使うことを難しくする最大の壁です。特に法律・医療・金融のように正確さが命の分野では、重大な事故につながるおそれがあります。

そこで最近では、AIにすべての答えを頭の中の記憶だけから取り出させることはしません。信頼できる最新の文書やデータベースをまず調べさせてから回答を書かせる、検索拡張生成（RAG）という技術が広く使われています。試験で暗記だけに頼らず、教科書を開いて確認しながら答えを書かせるようなものです。

ただし、どれだけ技術が進んでも、AIが確率的に文章を作る性質上、幻覚を完全になくすのは困難です。ですから、AIが出した重要な数字や専門知識は鵜呑みにせず、人が自分で出典を確認するクロスチェック（相互検証）を必ず行いましょう。