定義
データバイアスとは、人工知能(AI)が学習するデータが特定の集団や条件に偏っているために、不公平だったりゆがんだりした予測を出してしまう現象のことです。コンピューター自身が偏見を持っているわけではなく、学習に使われたデータが現実の不均衡をそのまま含んでいたり、逆に現実の一部の集団をきちんと含んでいなかったり、収集やラベル付けの過程で人の判断が入り込んだりすることで起こります。
白い猫しか見たことのない子は、黒い猫を知りません
赤ちゃんに、一生白い猫の写真だけを見せて「これが猫だよ」と教え続けたと想像してみてください。この子は、道で初めて黒猫や三毛猫に出会っても、それを猫だとは思えないでしょう。観察力が足りないからではなく、教わった世界のすべてが白色だけだったからです。
AIが世界を学ぶしくみもまったく同じです。AIは自分で経験を積んで常識を身につける存在ではなく、人が渡した大量のデータを分析して共通のルールを見つけ出すプログラムです。学習データの量や種類が一方向に偏っていれば、AIはゆがんだルールを正しい真理だと思い込んでしまいます。
つまりAIの判断は、データの質に大きく左右されます。コンピューター工学には「ゴミを入れればゴミが出てくる(GIGO)」という有名な格言があります。偏ったデータで育ったAIは、偏った判断を下すしかないのです。
現実の偏見がデータという鏡に映るとき
実際に、世界的な大企業が開発したAI採用プログラムが大きな議論を呼んだことがあります。開発チームは過去10年間に会社へ届いた履歴書をAIに学習させましたが、プログラムは「女性」に関する言葉が入った履歴書を低く評価してしまいました。過去の技術職の応募者の大半が男性だったため、AIが男性の履歴書に多い特徴を「良い兆候」だと誤って学習したのです。結局、会社はこのプログラムを使わないことにしました。
顔認識技術でも似た問題がよく起こります。世界中の人の顔を満遍なく認識できなければならない技術なのに、明るい肌色の男性の写真を中心に学習させると、暗い肌色の人や女性の顔をうまく見分けられないという誤りが生じます。
データは、私たちが生きる現実を映す鏡のようなものです。ところが、社会にすでにある不平等や過去の古い慣行がデータにそのまま残っていると、AIは現実の不均衡を正解として学習し、その偏見をむしろ大きく、強固にしてしまうことがあります。
もう少し正確に言うと:どこで、どのように生まれるのでしょうか?
もう少し正確に言うと、データバイアスは単にデータの量が足りないから生まれるわけではありません。データを集め、分類し、モデルを検証する全過程に、さまざまな形で入り込みます。
代表的なのは、アンケートをスマホアプリだけで行ったために、デジタル機器に不慣れな高齢者の意見がごっそり抜け落ちてしまう「サンプリングバイアス(標本の偏り)」です。また、人が写真や文章に直接名前を付けるラベリング(データに正解を付ける作業)の過程で、作業者の主観や固定観念が反映される「ラベルバイアス(アノテーターバイアス)」もよく起こります。
これを解決するために、AI開発者は、不足している集団のデータを人工的に補う技術を使ったり、アルゴリズムの段階で公平性の基準を強制的に与える技術を積極的に取り入れたりしています。データバイアスを減らすことは、技術的な精度を上げるだけにとどまらず、AIが社会的な信頼を得るための重要な課題なのです。
よくある誤解
AIは機械だから、人間のような偏見や先入観を持たない。
AIは、人間が集めて加工したデータをそのまま学習します。そのためデータの中に人間の偏見や社会的な不均衡が含まれていれば、AIもその偏見をそっくり真似してしまいます。
日常で出会う場面
男性の応募者が大半だった過去の履歴書を学習し、女性に関する言葉が入った履歴書を低く評価したAI採用システム
明るい肌色中心のデータで学習したため、暗い肌色の人の顔をうまく認識できないスマートフォンのカメラ
つまり ひとことで
AIはデータという鏡を見て学ぶので、データが偏ればAIの判断も不公平になります。