外れ値

クラスの生徒10人に、1日のお小遣いを聞いたと想像してみてください。9人は5,000ウォン（約500円）前後なのに、ひとりだけ100万ウォン（約10万円）と書きました。この10人の平均お小遣いを出すと、なんと1人あたり10万ウォン（約1万円）を超えてしまいます。9人にはまったく当てはまらない、とんちんかんな数字が出てくるわけです。

このように、ほかのデータから遠く離れて、ひとりだけ極端に大きかったり小さかったりする値を外れ値と呼びます。外れ値には平均値を大きく歪めてしまう性質があります。極端な値がひとつあるだけで、全体の合計が大きく押し上げられたり、押し下げられたりするからです。だから統計の資料を見るときは、平均だけを鵜呑みにしてはいけません。

外れ値のせいで平均が大きく揺れているなら、別の物差しもいっしょに使いましょう。すべての数字を大きさ順に並べたとき、ちょうど真ん中にくる値、つまり中央値を確認するのです。先ほどの例では、中央値は今でも5,000ウォン前後のままなので、外れ値に振り回されず、全体の傾向をきちんと示してくれます。

データのばらつきをきちんと見ずに平均だけを信じると、現実を大きく見誤ることがあります。たったひとつの飛び抜けたデータが、集団全体の性格をすっかり覆い隠してしまうことがあるからです。

ある値が単に少し大きいだけなのか、それとも統計で特別に扱うべき外れ値なのか。それを見分けるには、はっきりした基準が必要です。統計学者は目分量に頼らず、箱ひげ図や四分位数といった客観的な数学の道具を使います。

まずデータを大きさ順に並べて、真ん中の50パーセントのデータが集まっている区間の幅を計算します。この幅をもとに、上と下に目に見えない柵を立てます。そしてこの柵の外にはみ出したデータを、外れ値の候補として正式に判定するのです。主観的な感覚ではなく、厳密な数学の物差しでふるいにかける方法です。

釣鐘型をした正規分布のデータでは、標準偏差という道具を使います。平均を中心にデータがどれだけ広がっているかを測り、平均から標準偏差の3倍以上離れた値を外れ値と疑います。このルールだと、全体の約99.7パーセントの外側にある、ごくわずかな値だけが外れ値としてふるい分けられます。

こうして体系的な基準を決めておけば、何百万件もの膨大なデータの中からでも、コンピューターが外れ値を自動で見つけ出せます。AIが膨大な資料を学習する前に、余計なノイズを取り除くときにも、この手順はよく使われます。

もう少し正確に言うと、外れ値が見つかったからといって、むやみにデータを消したり無視したりしてはいけません。外れ値が生まれた原因は、状況によってまったく違うからです。

最初の原因は、単純な測定ミスや入力ミスです。体重を書く欄に60キログラムと入れるところを、キーを押し間違えて600キログラムと入力したなら、この値は分析のじゃまになる明らかな誤りです。こうした外れ値は、データクレンジングの作業で正しく直すか、統計分析から外す必要があります。

でも、二つ目の原因は、実際に起きた非常にまれで特別な出来事かもしれません。1985年にイギリスの南極調査隊が地上観測で南極上空のオゾン層の急激な減少を報告しましたが、衛星データの中で、低すぎるとして「品質に疑問あり」の印がつけられていた値こそ、まさにその現象を捉えていました。金融詐欺の決済や、まれな病気の患者の薬への反応のように、外れ値は新しい発見へ導く決定的な手がかりになることもあるのです。

結局、外れ値は、データを見る分析者の洞察力を試す試金石のようなものです。やみくもに消す前に、その数字がなぜ生まれたのかを掘り下げる姿勢こそ、すぐれた科学的探究の第一歩です。