ハルシネーション

分からないテストの問題に対しても、堂々とそれらしい嘘の答えをでっち上げる生徒のようなものです。

定義 ハルシネーション(幻覚)とは、AI(人工知能)が事実でない情報や存在しない情報を、あたかも真実であるかのように自然かつ堂々と語る現象のことです。嘘をつこうという悪意があるわけではなく、次に続く最もそれらしい言葉を確率的に組み合わせる過程で生じる、生成AI特有の代表的な限界点です。

なぜAIは堂々と嘘をつくのでしょうか?

友達と一緒に「言葉つなぎ(文章作成ゲーム)」をしているところを想像してみてください。前の人が言った言葉の後に、一番自然につながる言葉を選んで文章を完成させていく遊びです。

生成AI(大規模言語モデル)も、基本的にはこれとまったく同じ仕組みで文章を組み立てています。AIは人間の質問の「本当の意味」を理解して答えているわけではありません。これまで学習してきた膨大な文章データをもとに、「この質問の後には、こういう言葉が続くのが一番自然だろう」と計算し、言葉を一つずつ繋ぎ合わせているだけなのです。

問題は、質問に対する正確な知識がないときでも、言葉を繋ぐのをやめない点です。AIには「真実か嘘か」を見分ける感覚がありません。ただ文法的に正しく、文脈に合った最もそれらしい文章を作ることだけに集中するため、世の中に存在しないデタラメな情報でも、まるで真実かのように作り出してしまうのです。

ハルシネーション - AIがもっともらしい嘘をつく仕組み “세종대왕 맥북 던짐 사건 알려줘” 単語確率99%接続 事実検証せず結合 “15세기 세종대왕이 분노하여 맥북을 던진 사건의 전말은…” ⚠ ハルシネーション

もう少し正確に言うと:確率の罠

ハルシネーションは、AIが頭が悪いから起きるのではなく、言葉を生成する数学的な仕組みから生じる必然的な現象です。

大規模言語モデルは、何億冊分もの本やウェブ文書を読み込み、言葉と言葉の間の「確率的なつながり」を学習しています。例えば「日本の首都は」の後には、高い確率で「東京」が来ることを統計的に知っているわけです。しかし、学習データに含まれていないマイナーな人物や架空の出来事について質問されると、統計的な「抜け穴」が生まれます。

その際、AIはその空白を埋めるために、これまでに学んだ無数の表現を統計的につなぎ合わせて、新しい回答を勝手に創作してしまいます。賢い最新モデルほど文章力が高いため、嘘の情報を完璧な論理で綺麗にコーティングしてしまい、人間がさらに騙されやすくなってしまうのです。

ハルシネーションを減らすための取り組み

ハルシネーションは、AIを安心して実用化する上での最大の壁です。特に法律、医療、金融のように正確さが命となる分野では、致命的なトラブルを引き起こしかねません。

そこで最近では、AIの頭の中の記憶(学習データ)だけに頼らせるのではなく、信頼できる最新の文書やデータベースを検索してから回答を作成させる「検索拡張生成(RAG)」という技術が広く使われています。テストを受けるときに、丸暗記だけでなく教科書を見ながら答えを書かせるようなアプローチです。

しかし、どれほど技術が進歩しても、確率で言葉を生み出すAIの性質上、ハルシネーションを完全にゼロにすることは困難です。そのため、AIが提示した重要な数字や専門知識を鵜呑みにせず、人間が直接出典を確認する「事実確認(クロスチェック)」が欠かせません。

幻覚を起こす単独AIと検索拡張(RAG)AIの比較 VS 単独AI ? ! ハルシネーション 検索拡張AI(RAG) 正確な根拠に基づく回答

🤔 よくある誤解

✕ 誤解

AIは人間を騙そうとして、意図的に嘘をついている。

✓ 事実

AIに悪意や嘘をつく意図は一切ありません。単に確率的に最もつながりやすい単語を並べた結果、事実と異なる文章が組み上がってしまっただけです。

✕ 誤解

AIモデルの規模がもっと大きくなれば、ハルシネーションは完全に消える。

✓ 事実

AIが単語を確率的に予測して生成する仕組みを採用している限り、知識をでっち上げてしまう現象を100%完全になくすことは構造上きわめて困難です。

🧺 日常で出会う場面

1 存在しない歴史上の出来事について質問した際、まるで公式記録に残っているかのように年代や登場人物までもっともらしくでっち上げて回答する場合。
2 論文やニュース記事の出典を求めた際、実際には世の中に存在しない架空の論文タイトルや学者名をそれらしく生成して提示する場合。
💡 つまり ひとことで

AIが質問の意味を正しく理解しているわけではなく、次に来る言葉を確率的につなぐ過程で生まれる、もっともらしい嘘の回答です。