【世界のパラドックス】シンプソンのパラドックス ─ 部分では勝っているのに全体で負ける

当サイトを閲覧いただきありがとうございます。本記事は「シンプソンのパラドックス」について解説します。

データの世界には恐ろしい罠があります。ある集団を2つに分けて比較するとAが優秀なのに、全体で集計するとBが優秀になる。こんなことが実際に起こりえます。部分で成り立つことが全体で成り立つとは限らない。この事実を突きつけるのがシンプソンのパラドックスです。

Amazonで見る →

具体例で見てみる

ある大学の入試で、男女差別があるのではないかという議論が起きたとします。

工学部

男性：800人受験、480人合格（合格率60%）
女性：100人受験、70人合格（合格率70%）

文学部

男性：200人受験、40人合格（合格率20%）
女性：900人受験、270人合格（合格率30%）

各学部を見ると、どちらの学部でも女性の方が合格率が高いです。

ところが、全体で集計すると…

男性全体：1000人受験、520人合格（合格率52%）
女性全体：1000人受験、340人合格（合格率34%）

あれ？全体では男性の方が合格率が高いのです。

各学部では女性の方が優秀なのに、全体では男性が上回り、数字は嘘をついていないのに結論が逆転してしまう。これがシンプソンのパラドックスになっているという感じでしょうか。

なぜ逆転が起きるのか

からくりは「受験者の分布」にあります。

上の例では、男性は合格率の高い工学部に多く受験し（800人）、女性は合格率の低い文学部に多く受験しています（900人）。

男性は「受かりやすい学部」に多く集中し、女性は「受かりにくい学部」に多く集中しています。各学部内では女性の方が優秀でも、全体の合格率は「どの学部を受けたか」という分布の偏りに大きく影響されます。

このような第三の要因（この例では学部の選択）を「交絡変数」と呼びます。交絡変数を無視して全体を単純に集計すると、シンプソンのパラドックスが発生するのです。

Amazonで見る →

実際に起こった事例

シンプソンのパラドックスは机上の空論ではなく、実際に問題になった事例が数多くあります。

1973年のカリフォルニア大学バークレー校の入学選考では、全体の合格率は男性44%に対して女性35%であり、性差別が疑われましたが、学部ごとに分析すると、ほとんどの学部で女性の合格率が男性と同等かそれ以上でした。

原因は、女性が合格率の低い競争の激しい学部に多く出願する傾向にあったことです。これは歴史的な実例として、統計学の教科書でよく取り上げられています。

Amazonで見る →

データ分析での教訓

シンプソンのパラドックスが教えてくれる最も重要な教訓は、データの集計レベルによって結論が変わりうるということです。

全体の数字だけを見て判断すると、真実とは正反対の結論に至る可能性があります。かといって、常に細かく分割すればよいかというと、分割しすぎるとサンプル数が少なくなりすぎて統計的に信頼できなくなるという別の問題も出てきます。

大切なのは、「このデータには交絡変数が隠れていないか？」と常に疑問を持つことです。特にビジネスの意思決定や政策判断でデータを使う際には、単純な集計結果を鵜呑みにするのは危険です。

医療分野では、ある治療法の効果を評価する際にシンプソンのパラドックスが頻繁に問題になり、重症患者と軽症患者とで治療の振り分けに偏りがあると全体集計では効果が逆に見えることがあります。これがランダム化比較試験（RCT）が医学研究のゴールドスタンダードとされる理由の一つでもあります。

集団を分けるべきか、まとめるべきか

シンプソンのパラドックスでいちばん困るのは、分けたほうが正しいのか、まとめたほうが正しいのかが、データだけでは決まらないというところです。

同じ数字の並びから、分ければAが優位、まとめればBが優位という2つの結論が出ます。どちらも計算としては正しいので、統計の内部では決着しません。

判断の材料になるのが、因果の順序です。

分ける変数の位置	例	どちらを見るべきか
処置より前にある	患者の年齢、病気の重さ	分けた結果を見る
処置より後にある	治療で起きた副作用	まとめた結果を見る
処置と無関係	患者の背番号	どちらでも変わらない

治療の効果を見るとき、患者の重症度は治療を受ける前から決まっています。重症の人ほど強い治療を選ばれるので、分けずに比べると強い治療が不利に見えます。この場合は分けて見るのが正解です。

一方、治療によって生じた副作用で分けてしまうと、治療の効果の一部を打ち消して見ていることになります。この場合は分けてはいけません。

実際に裁判になった例

有名なのが、1973年のカリフォルニア大学バークレー校の入学者データです。

全体では男性の合格率が44パーセント、女性が35パーセントで、性差別の疑いがかけられました。ところが学科ごとに分けて見ると、多くの学科で女性のほうが合格率が高いという結果でした。

からくりは、志望先の分布の違いにありました。女性は合格率の低い難関学科に多く出願しており、男性は合格率の高い学科に多く出願していたためです。

・全体で見ると：男性が有利に見える・学科ごとに見ると：女性のほうがやや有利・実際に起きていたこと：学科ごとの選抜には偏りがなく、出願先の分布が違った

このケースでは、学科は出願の段階で本人が選んでいるので処置より前にありますので、分けて見るほうが実態に近いということになるのだと思います。

数字だけを眺めても、どちらが正しいかは出てきません。「何が何に影響しているのか」を先に考える必要がある、という教訓になります。私も分析の前にこの順番を確かめるようにしています。

Amazonで見る →

名前がつくまでの経緯

シンプソンの名がついていますが、この現象を最初に指摘したのは彼ではありません。

・カール・ピアソン（1899年）：集団を混ぜると相関が変わる例を報告した・ユール（1903年）：分割表で同様の現象を整理した・エドワード・シンプソン（1951年）：論文で体系的に扱い、名前が定着した・コリン・ブライス（1972年）：「シンプソンのパラドックス」という呼称を広めた

そのため、「ユール・シンプソン効果」と呼ばれることもあります。

シンプソン自身は、この現象を「パラドックス」とは呼んでいません。数学的には何も矛盾していないためです。計算はすべて正しく、驚くのは人間の直感のほうだけという立場でした。

呼び名が定着したあとも、統計学者のあいだでは「逆転現象」という中立的な言い方が好まれることがあります。