大規模言語モデル(LLM)

何億冊もの本を読み込んで、世界一賢くなったスマホの「予測変換」機能です。

定義 大規模言語モデル(LLM: Large Language Model)は、インターネット上の膨大なテキストを学習し、人間のように自然な会話や文章作成を行うAI(人工知能)です。文章の前後の文脈から、次に続く最も適切な言葉を自ら予測して回答を組み立てます。

スマホの予測変換が超進化した姿

スマホでメッセージを打つとき、「おつ」と入力するとキーボードの上に「かれさま」や「かれ!」といった言葉が候補として出てきた経験があるはずです。私たちは数回タップするだけで、手軽に文章を完成させていますよね。

大規模言語モデルは、この「予測変換」の仕組みをとてつもなく巨大にスケールアップさせたシステムです。インターネット上にある何億冊分もの書籍、ニュース記事、百科事典、ブログ記事などを丸ごと読み込んで分析し、「ある言葉のあとに、どんな言葉が続くのが最も自然か」を統計的に学習しました。

単に単語を1〜2個つなぎ合わせるだけではありません。質問全体の流れや文脈を細かく把握したうえで、直後に続く最も確率の高い言葉をしりとり感覚で見つけ出します。そのおかげで、まるで人間が直接文章を書いたり会話したりしているような、なめらかな回答が次々と生み出されるのです。

LLMの次の単語確率予測原理 今日 天気が 実に 良い 85% 寒い 10% 雨5%

どのようにして人間の言葉の意味や文脈を捉えるのか?

私たちが文章を読むときは、前後の言葉の関係性を見ながら意味を理解します。例えば「雨が降る」の「あめ」と「甘い飴」の「あめ」は、文字の並びや音が似ていても意味が全く異なりますよね。AIも同じように、文章の中にあるすべての言葉を一度に見渡して、互いにどんな関係があるかを捉えます。

コンピュータは、私たちが使う文章を細かく刻んだ破片(トークン)に分けたあと、数字に変換します。そして、それらの破片がどう結びつくのかを数千億個もの巨大な計算のつなぎ目(パラメータ)の中にきっちりと記憶させます。この膨大なネットワークが働くことで、単なる言葉の組み合わせにとどまらず、翻訳、要約、さらにはプログラミングコードの作成まで難なくこなせるようになります。

機械が人間のような本物の心や意識を持っているわけではありません。しかし、何億もの文章が持つルールやパターンを完璧に模倣する過程で、まるで自ら考えているかのように深いアウトプットを生み出しているのです。

もう少し正確に言うと:賢いオウムとその限界

もう少し正確に言うと、大規模言語モデルは何かを「本当に理解して」話しているわけではありません。ただ質問のあとに続く最もそれらしい言葉を、確率に合わせて組み立てているにすぎないのです。

このため、モデルは時として間違った情報をまるで真実であるかのように堂々と語ることがあります。AIの分野では、こうしたもっともらしい嘘をハルシネーション(幻覚)と呼びます。ネット上の不正確な情報を学習してしまったり、確率的にそれらしく見える言葉を無理につなぎ合わせた結果として生じる現象です。

こうした限界を乗り越えるため、最新のAIは検索エンジンと連携して実際の事実を照合したり、人間が正しい答えを教えて修正する訓練(ファインチューニング)を追加で行っています。

🤔 よくある誤解

✕ 誤解

LLMは質問されると、リアルタイムでネット検索して答えを探してくるプログラムである。

✓ 事実

基本的にLLMは、事前に学習して記憶した統計的な計算値だけを使って文章を生成します。個別の検索機能が組み込まれていない限り、学習が終わった時期以降の最新情報は知ることができません。

🧺 日常で出会う場面

1 質問を入力すると人間のようにわかりやすく答えてくれるChatGPTが代表例です。
2 長文の論文やニュース記事を入力すると、要点を短くまとめてくれる機能に活用されています。
💡 つまり ひとことで

膨大な文章を学習し、次に続く最も自然な言葉を次々と予測して紡ぎ出す巨大な言語AIです。