コンテキストウィンドウ

机の上に広げられるノートの量を思い浮かべてみてください。テスト勉強のとき、机が狭いと新しい参考書を開くために、今まで見ていたノートを床に片付けなければなりませんよね。AIも人間のように、過去の会話のすべてを脳の奥深くにずっと記憶し続けているわけではありません。

AIは私たちが新しい言葉をかけるたびに、それまでの会話履歴を机の上に最初から広げ直して読んでいます。しかし、この作業スペースの広さには限界があります。この限界を超えると、多くのAIサービスでは一番古い会話から机の外へ押し出され、AIが読めなくなってしまいます。古い会話を短く要約して残したり、それ以上の入力を受け付けなくなったりするサービスもあります。

やり取りが長くなったとき、AIが会話の最初に伝えた自分の名前や設定したルールを忘れてしまう大きな原因がこれです。コンテキストウィンドウは、AIが会話の流れ（文脈）を見失わずにいられる一種の短期記憶の容量なのです。

私たちは普段、文章の量を文字数やページ数で数えますが、AIの世界ではトークン（Token）という単位で計算します。トークンとは、AIが言葉を細かく分解して理解するための最小単位です。英語なら1単語でだいたい1トークン前後ですが、日本語の場合はひらがなや漢字の組み合わせによって、1文字や1単語が複数のトークンに分割されることもあります。

コンテキストウィンドウで最も重要なのは、ユーザーが送った質問（入力）とAIが書く回答（出力）がこのスペースを共有しているという点です。もしトークンの上限が8,000個で、質問と過去の履歴がすでに7,000トークンを占めていたら、AIは残りの1,000トークン分の短い回答しか作ることができません。

最近ではこの窓の大きさが飛躍的に広がり、数十万〜数百万トークンに対応するモデルも登場しました。おかげで、分厚い専門書1冊や数百ページに及ぶ企業の決算資料を丸ごと机の上に広げ、一度に分析や要約をさせることが可能になっています。

机がサッカー場のように広くなれば、どんなに多くの本を並べられても、その中から探したい1文をすぐに見つけ出すのはかえって難しくなるかもしれません。AI研究者たちは、長い文書の中に紛れ込ませた1文を探し出させる「干し草の山から針を探す（Needle In A Haystack）」テストでこの能力を検証しています。実際に、文章が長くなると最初や最後よりも中盤に書かれた重要な情報を見落としやすくなる現象が多くのモデルで報告されています。

もうひとつの問題は計算リソースです。AIが一度に考慮すべき単語が2倍になると、単語同士のつながりを計算する負荷はそれ以上に急激に跳ね上がります。それだけ高性能なGPUや莫大な電力が必要になり、回答スピードも遅くなりがちです。

つまり、ただ闇雲にコンテキストウィンドウを広げれば良いわけではありません。そのため現在のAIシステムの多くは、必要な文書だけをスマートに探し出して机の上に届けてくれる検索技術（RAGなど）と組み合わせる形へと進化しています。