マルチモーダルAI

本だけを読んで世の中を学んだ友だちに、赤いリンゴの写真を見せたらどうなるでしょうか。文章で書かれた説明はすらすら話せても、目の前のリンゴの鮮やかな赤色や甘い香りは、すぐには思い浮かべにくいかもしれません。初期の対話型AIもまさにこんな状態でした。テキストという狭い窓ひとつだけから世界を眺めていたのです。

私たちが日常で情報をやりとりする感覚の通り道を「モダリティ(様式)」と呼びます。目で見る文字や写真、耳で聞く声や雑音、手で触れる感触は、どれもそれぞれ別のモダリティです。「マルチ」という言葉がつく通り、マルチモーダルとは「複数の感覚の通り道を一緒に使う」という意味を持っています。

つまり、複数の感覚の通り道をひとつに結びつける技術こそがマルチモーダルAIです。もうAIは、文字で書かれた質問を読むだけでは終わりません。冷蔵庫の中を撮った写真を見てすぐに夕食のメニューを提案したり、人の震える声を聞いて感情の状態をある程度推測したりもします。

こうして感覚が増えると、コンピューターが世界を理解する深さも大きく変わります。文字だけでは表しにくい微妙な表情の変化や周りの雰囲気まで一緒に見られるので、より頼れるアシスタントになれるのです。

写真と文字は、コンピューターから見るとまったく別の形のデータです。写真は無数の色の点(ピクセル)が並ぶ巨大な格子で、文字はアルファベットやひらがなといった記号の集まりです。音もまた、時間とともに上下する波のデータです。性質がまったく違うこれらの情報を、コンピューターはどうやってひとつに結びつけるのでしょうか。

その秘密は、異なる情報をコンピューターが扱いやすい「数字の座標」に翻訳することにあります。これをAIの分野では埋め込み(エンベディング:情報を多次元の数字に変換する過程)と呼びます。AIは膨大な学習を重ねるなかで、赤いリンゴの写真と「リンゴ」という言葉を、同じ意味を持つひとつの座標空間に並べて配置します。

そのおかげで、ユーザーがスマートフォンで写真を撮りながら「これ何?」と短くたずねても、自然な会話が成り立ちます。写真に写った物体の数字の座標と、質問の数字の座標を一瞬でつなぎ、「おいしそうに熟した赤いリンゴですよ」という答えをすぐに返せるのです。

文字や絵だけでなく、音のデータも同じ座標系の上に載せられます。犬が吠える音声ファイルと「ワンワン」という文字、そして犬の写真が、すべて同じ意味の近い座標に集まることで、ひとつの大きな知識のネットワークが出来上がります。

写真の中の文字を読み取る技術や、人の話を書き起こす技術は、以前からありました。画像を認識する専用のAIと、文章を読むAIを飛び石のようにつないでおく方法も、広い意味ではマルチモーダルなシステムです。実際、初期の技術はこうしたパイプライン(段階ごとの連結)方式を多く使っていました。

最近では、画像を読み取る部品を言語モデルにつないだうえで、一緒に追加学習させたり、開発の初期段階から文字・画像・音声のデータをひとまとめにして、最初から一緒に学ぶように訓練した統合型モデルも登場しました。こうしたモデルは、途中の翻訳段階なしに複数の感覚を一緒に扱います。

たとえば、私たちが横断歩道を渡るとき、車のクラクションを聞きながら、同時に近づく車の速さを目で見て足を止めるのと同じです。人は耳で聞いた音を頭の中で文字に直してから、目で見た光景と照らし合わせたりしませんよね。複数の感覚を一瞬で組み合わせて、すぐに判断を下す仕組みに近いのです。

こうした統合のおかげで、AIは文章の文脈と画像の細部を同時に考慮した、高度な推論ができるようになります。口調と表情がちぐはぐな皮肉のような状況に気づこうとする研究も続いています。