ベンチマークデータセット

陸上の走力を競うとき、選手たちが近所の裏山や砂浜など別々の場所で走ったタイムを比べても、誰が一番速いかは分かりません。風の強さも地面の柔らかさもバラバラだからです。すべての選手が同じ規格の400メートルトラックを走って初めて、本当の実力を比べることができます。

人工知能の研究もまったく同じです。A社が簡単なイラストでテストし、B社が複雑な白黒写真でテストした後に、お互いに「うちのAIが賢い」と主張し合っても比較のしようがありません。

そこで研究者たちは、膨大な画像や文章を集めた広く普及している共通のテスト問題を作りました。すべてのAIモデルに同じ問題を解かせ、正答率を測定して順位をつけるのです。約1,400万枚もの写真を集めた「ImageNet（イメージネット）」や、それを基に開催されてディープラーニング流行の契機となった画像認識コンペティションがその代表例です。

ベンチマークデータセットは、単なるデータの集まりではありません。多くの場合、入力データ（問題）とともに採点基準となる正解データ（正解ラベル）がペアになっています。プログラミングのベンチマークのように、AIが生成したコードがテストを通過するかどうかで採点する形式もありますが、正解データ自体にミスが混ざっていることも稀にあります。

評価方法も厳格です。AIが普段の学習時には見たことのない、完全に新しい問題だけで構成された評価専用データを解かせて採点します。AIが問題を丸暗記して当てずっぽうに答えるズルを防ぎ、未知の状況にも対応できるか確認するためです。

現在では分野ごとに多様な標準ベンチマークが使われています。57分野にわたる幅広い知識と問題解決力を問う「MMLU」や、プログラミングの実力を測る「HumanEval」などが代表的です。新しいAIが発表されるたびに、開発元は広く使われているベンチマークのスコア表を成績表のように公開しています。ただし、通常は開発企業自らが測定して発表するため、評価条件が各社で多少異なる場合もあります。

もしある生徒が事前にテスト問題を手に入れて答えだけを丸暗記して試験に臨んだらどうでしょうか？ テストの点数は100点かもしれませんが、実際の応用力はゼロに近いかもしれません。

人工知能でもこれとまったく同じ問題が起こります。モデルがインターネット上の膨大な文章を学習している最中に、偶然ベンチマークの問題と答えを丸ごと読み込んでしまうデータ汚染（データコンタミネーション）という現象です。これが起きるとスコアだけが見かけ上高くなってしまい、点数を見ても未知の問題を本当に解けているのか判断できなくなってしまいます。

このため、ベンチマークデータセットは絶えず進化し続けなければなりません。AIの実力が向上するにつれて従来のテスト問題は簡単になりすぎてしまい、識別力を失うからです。研究者たちはより高度で複雑な推論を求める新しい高難度ベンチマークを次々と生み出し続けています。