p値

友達とコイン投げの勝負をしていて、相手の投げたコインが10回連続で表になった場面を想像してみてください。誰でも自然と「コインに何か仕掛けがあるんじゃないか？」と強い疑いを抱きますよね。

歪みのない普通のコインで10回連続して表が出る確率は、わずか約0.1%にすぎません。このように「コインはごく正常だ」という前提のもとで、いま起きたような極端な結果が現れる確率を数字で表したものが、まさにp値です。

このコイン投げのp値が0.001（0.1%）だとしたら、「コインに仕掛けがないと仮定した場合、10回連続で表が出るような結果になる確率」が約1000分の1（正確には1/1024）という意味になります。確率があまりにも低いため、私たちは「単なる偶然とは考えにくい」と判断し、相手のイカサマを強く疑うことになるのです。

植物に新しいエコ栄養剤を与えたところ、水だけをあげた植木鉢よりもぐんぐん育ったとしましょう。このとき、よく育った理由が本当に栄養剤のおかげなのか、それとも偶然丈夫な種だっただけなのかを見極める必要があります。

科学者はこうした場面で、統計的に仮説を検証します。研究の世界では慣例として、「効果がない」という前提でこのような結果が出る確率が5%未満、つまりp値が0.05を下回ったときを一つの基準とします。これを「有意水準」と呼びます。

もし栄養剤の実験のp値が0.02（2%）だった場合、「栄養剤に全く効果がないと仮定したとき、これほど（またはそれ以上）の差が偶然生じる確率」が2%だという意味になります。基準の5%より低いため、研究者は結果が統計的に有意であると判断し、栄養剤に効果がある根拠とすることができます。ただし、実際には効果がないのに偶然有意な結果が出てしまう可能性もゼロではありません。

もう少し正確に言うと、p値は「新しい発見や主張が本当に正しい確率」を表す数字ではありません。あくまで「効果がまったくないという前提が真であるとき」に、いま観測されたデータやそれ以上に極端なデータが偶然得られる条件付き確率を意味します。

また、p値が0.05未満になったからといって、その栄養剤や新技術が桁外れに優れているというわけではありません。実験に使う植木鉢の数を数万個にまで増やせば、肉眼では分からないほどごくわずかな差であっても、p値が0.05を下回って有意になり得るからです。

つまりp値は、あり得ないような偶然をふるい落とす優れたシグナルではあっても、発見の重要性や真実そのものをすべて保証するものではありません。そのため現代の研究では、p値だけでなく実際の差の大きさを示す「効果量」や「信頼区間」もあわせて慎重に吟味されます。