トークン

AIが文章を読んだり書いたりするときに使う「言葉のレゴブロック」です。

定義トークン（Token）とは、AIモデルが人間の言葉を理解して処理するために、文章を細かく切り分けた基本単位のことです。コンピューターは人間のように文章を丸ごと読むことができないため、トークンという言葉のかけらに分解し、それぞれに固有の番号を割り振って計算しています。

AIが文章をかみ砕く「ひと口サイズ」

長いフランスパンをひと口では食べられないのでナイフで切り分けて食べるように、AIも長い文章を一度には消化できません。そのため、コンピューターが扱いやすい手頃な大きさに文章を細かく切り分けます。この切り分けられたパーツの一つひとつを「トークン」と呼びます。

トークンは、必ずしも「1単語」や「1文字」と一致するわけではありません。「りんご」のような短い単語は1つのパーツになりますが、「りんごの木を」のような長いフレーズは、「りんご」「の」「木」「を」のように意味や文法に応じて複数のパーツに分解されることもあります。

英語と日本語で区切られ方が異なるのも特徴です。英語はいくつかのアルファベットが集まって1トークンになることが多いですが、漢字やひらがな、カタカナが混ざる日本語では、1文字が複数のトークンに細かく分かれてしまうこともあります。

結局のところ、AIにとってトークンとは、私たちが本を読むときに言葉を1つずつ目で追っていく感覚に似ています。こうして文章を適切なピースに分けておくことで、その後の分析や文章作成をスムーズに進めることができるのです。

AIは実は、言葉そのものの意味を直感的に理解しているわけではなく、巨大な計算機にすぎません。そのため、文字を切り分けてトークンにした後は、膨大な単語辞書を参照して各パーツに固有の番号札（ID番号）を割り当てます。

例えば「りんご」というトークンに「4201」という番号がついていれば、AIは「りんご」という文字の代わりに「4201」という数字を受け取って複雑な計算を始めます。このように文章をトークンに切り分けて数字に変換するプロセス全体を「トークン化（トークナイゼーション）」と呼びます。

AIが回答を作成して私たちに見せてくれるときも、原理はまったく同じです。次に来るべき最もふさわしい番号を数学的に計算して選び出し、その番号に対応する言葉のピースを再びつなぎ合わせて完成した文章を組み立てているのです。

私たちがAIチャットボットと会話するほんの一瞬の間にも、コンピューターの内部では無数の言葉のかけらが数字に変換され、再び言葉へと組み立てられる魔法のような処理が休むことなく行われています。

もう少し詳しく言うと、トークンはAIサービスの「料金メーター」であり、「記憶力の限界」を決める基準でもあります。AIツールを利用したりアプリを開発したりする際にかかる費用は、単なる文字数ではなく、やり取りしたトークンの総数によって決まるからです。

また、AIモデルが一度に記憶・参照できる会話の長さも、トークン数によって厳密に制限されています。これを「コンテキストウィンドウ（文脈窓）」と呼びますが、本何冊分ものトークンを一度に読み込めるモデルがある一方で、数ページ読んだだけで前の会話内容を忘れてしまうモデルもあります。

したがって、文章をいかに効率よくトークンに切り分けるかという技術は、AIの処理速度を高め、運用コストを下げるための重要な鍵を握っています。同じ意味の文章でもより少ないトークン数で表現できるほど、AIはより高速かつ安価に動作できるのです。

最新のAI研究が、多言語をより少ないトークンで効率的に圧縮・処理するアルゴリズムの開発に力を入れているのも、まさにこれが理由です。

✕ 誤解

1個のトークンは、正確に「1単語」または「1文字」と同じである。

✓ 事実

トークンは単語より小さいことも大きいこともあります。英語の1単語が複数のトークンに分かれることもあれば、日本語の漢字やひらがな1文字が2〜3個以上のトークンに分解されることもあります。

1 AIチャットボットに長い質問をするほど、消費されるトークン数が多くなります。

2 AIのAPIを利用してアプリを開発する際は、送受信したトークンの量に応じて利用料金を支払います。

💡 つまりひとことで

トークンとは、AIが人間の言葉を計算・理解するために細かく切り分けた言葉の最小単位です。