シンプソンのパラドックスとは?全体とグループで結論が逆になる理由を例でわかりやすく解説
1. 結論:全体の数字だけを見ると、判断を間違えることがある
データを見るときに大切なのは、「何%か」だけでなく「どんな集団をまとめた数字なのか」まで確認することです。
シンプソンのパラドックスは、全体で見た結論と、グループ別に見た結論が逆になる現象です。
たとえば、次のようなことが起こります。
| 見方 | 結論 |
|---|---|
| 全体で見る | Aの方が良い |
| グループ別で見る | どのグループでもBの方が良い |
| 起きていること | 集団の偏りによって、見かけの結論が逆転している |
これは、計算ミスではありません。
全体の数字も、グループ別の数字も、それぞれ計算としては正しい場合があります。
問題は、どの数字をもとに判断すべきかです。
試験の合格率、教材の効果、営業成績、採用結果、医療データ、AIの精度、ニュースで紹介される調査結果など、現代ではさまざまな場面で数字が使われます。しかし、集計の仕方を間違えると、「効果があるように見える方法」「公平に見える評価」「正しそうに見える結論」を誤って信じてしまうことがあります。
数字は強力ですが、集団の中身を見ないまま使うと、もっともらしい誤解を生みます。
2. 30秒でわかる具体例:全体では学習法A、グループ別では学習法Bが勝つ
ある資格試験の対策で、学習法Aと学習法Bの合格率を比べたとします。
受験者は「経験者」と「初心者」に分かれています。
| 受験者層 | 学習法Aの合格率 | 学習法Bの合格率 |
|---|---|---|
| 経験者 | 80 / 100 = 80.0% | 9 / 10 = 90.0% |
| 初心者 | 1 / 10 = 10.0% | 120 / 800 = 15.0% |
グループ別に見ると、どちらの層でも学習法Bの方が高い合格率です。
- 経験者:学習法Bは90.0%、学習法Aは80.0%
- 初心者:学習法Bは15.0%、学習法Aは10.0%
ところが、全体でまとめると結果が逆になります。
| 学習法 | 全体の合格者数 | 全体の合格率 |
|---|---|---|
| 学習法A | 81 / 110 | 73.6% |
| 学習法B | 129 / 810 | 15.9% |
全体では、学習法Aの方が圧倒的に良く見えます。
なぜこのような逆転が起こるのでしょうか。
理由は、学習法Aには「経験者」が多く、学習法Bには「初心者」が多く含まれているからです。
つまり、学習法Aが優れていたというより、学習法Aを選んだ人の中に、もともと合格しやすい人が多かった可能性があります。
この状態で「全体の合格率が高いから学習法Aが優れている」と判断すると、実際には効果を見誤るかもしれません。
3. なぜ逆転するのか:原因は「重み」と「交絡因子」
この現象の本質は、全体の割合が、各グループの割合を単純に平均したものではない点にあります。
全体の割合は、次のように計算されます。
全体の割合 = すべての成功数の合計 ÷ すべての人数の合計
つまり、人数が多いグループほど、全体の数字に強く影響します。
先ほどの学習法の例では、学習法Aには経験者が多く含まれていました。
一方、学習法Bには初心者が多く含まれていました。
このとき、全体の合格率には次の2つが混ざっています。
| 混ざっている要素 | 内容 |
|---|---|
| 学習法そのものの効果 | 学習法Aと学習法Bの違い |
| 受験者層の違い | 経験者が多いか、初心者が多いか |
ここで重要になるのが、交絡因子です。
交絡因子とは、比較したい関係に影響を与えている第三の要因です。
学習法の例でいえば、「経験者か初心者か」が交絡因子です。
| 比較したいもの | 結果 | 隠れている要因 |
|---|---|---|
| 学習法Aと学習法B | 合格率 | 受験経験、基礎学力、学習時間 |
| 教材Aと教材B | 平均点 | 利用者のレベル、学習期間 |
| 治療Aと治療B | 回復率 | 年齢、重症度、基礎疾患 |
| AIモデルAとAIモデルB | 正答率 | データの偏り、対象グループ |
| 研修Aと研修B | 成果 | 参加者の経験年数、担当業務 |
このように、見たい関係の裏に別の要因があると、全体の数字だけでは判断がゆがむことがあります。
4. 有名な実例:Berkeley大学院入試データ
この現象の代表例としてよく紹介されるのが、1973年のカリフォルニア大学バークレー校の大学院入試データです。
Rの公式データセット「UCBAdmissions」には、1973年にBerkeleyの大学院主要6部門へ出願した4,526件の集計データが収録されています。
参考:R Documentation “UCBAdmissions”
全体で見ると、男性出願者の合格率は44.5%、女性出願者の合格率は30.4%でした。
この数字だけを見ると、女性に不利な入試が行われていたように見えます。
しかし、部門別に見ると解釈は単純ではありません。
女性出願者は、もともと合格率が低い部門に多く出願していました。そのため、全体で集計すると女性の合格率が低く見えたのです。
この事例を分析したBickel、Hammel、O’Connellの論文は、Science誌に掲載されました。
参考:Science “Sex Bias in Graduate Admissions: Data from Berkeley”
ここで注意したいのは、次の点です。
- 全体の差だけで、すぐに原因を断定してはいけない
- グループ別に見ることで、隠れていた構造が見えることがある
- ただし、どのグループで分けるべきかは、背景知識が必要になる
- 「差がある」ことと「何が原因か」は別の問題である
Stanford Encyclopedia of Philosophyでも、この現象は、集団全体で見られる関連が、サブグループで消えたり、逆転したりする統計現象として説明されています。
参考:Stanford Encyclopedia of Philosophy “Simpson’s Paradox”
5. 学習や試験対策で起こる例:合格率だけでは判断できない
学習法や教材を選ぶとき、「合格率」「平均点」「満足度」などの数字は参考になります。
しかし、その数字だけで良し悪しを決めるのは危険です。
たとえば、「この教材を使った人の合格率は高い」と書かれていたとします。
一見すると、その教材の効果が高いように見えます。
しかし、利用者の多くが次のような人だったらどうでしょうか。
- もともと基礎学力が高い
- 学習時間を十分に確保できる
- すでに受験経験がある
- 難関試験に慣れている
- 独学でも継続できる習慣がある
この場合、合格率の高さは教材だけの効果とは限りません。
利用者の背景が、結果に影響している可能性があります。
逆に、初心者向けの学習サービスは、利用者全体の平均点や合格率が低く見えることがあります。
それはサービスの質が低いからではなく、最初から学習経験が少ない人や、苦手意識のある人が多く使っているからかもしれません。
学習データを見るときは、次のように考えると判断しやすくなります。
| 見る数字 | 追加で確認したいこと |
|---|---|
| 平均点 | もともとの学力、学習期間、勉強時間 |
| 合格率 | 受験者のレベル、試験の難易度、受験回数 |
| 継続率 | 目的の強さ、生活環境、教材との相性 |
| 正答率 | 問題の難易度、分野、出題形式 |
| 学習時間 | 集中度、復習方法、アウトプット量 |
数字を否定する必要はありません。
大切なのは、数字が何を表していて、何を表していないのかを考えることです。
英語、TOEIC、資格、受験勉強などを進めるときも、学習時間や正答率だけで一喜一憂するのではなく、分野別・難易度別・期間別に振り返ると改善点が見えやすくなります。完全無料で利用できるDailyDropsは、学習行動がユーザーに還元される共益型プラットフォームなので、日々の学習を続けながら、自分の理解度や行動を見直す選択肢の一つになります。
6. 仕事で起こる例:平均値だけでは現場の差が見えない
仕事でも、全体の数字だけを見て判断する場面はよくあります。
たとえば、次のような報告です。
- 「Aチームの営業成約率が高い」
- 「この研修を受けた人の成果が高い」
- 「有料プラン利用者の継続率が高い」
- 「新しい業務フローの方が処理時間が短い」
- 「AIツールを導入した部署の生産性が高い」
これらの数字は役に立ちます。
しかし、集団の中身を確認しないまま使うと、判断を誤ることがあります。
| 数字 | 確認すべきこと |
|---|---|
| 営業成約率 | 担当している案件の難易度が同じか |
| 研修後の成果 | もともと意欲の高い人だけが受けていないか |
| 継続率 | 初心者と上級者で分けて見ているか |
| 処理時間 | 簡単な案件と複雑な案件が混ざっていないか |
| AIの精度 | 特定のグループだけ精度が低くないか |
特に注意したいのは、平均値や全体比率が、現場の実態を隠すことがあるという点です。
全体の処理時間が短くなっていても、難しい案件では時間が増えているかもしれません。
全体の満足度が高くても、特定の地域や年齢層では不満が増えているかもしれません。
全体のAI正答率が高くても、一部の条件では誤答が多いかもしれません。
仕事でデータを見るときは、全体の数字を確認したうえで、少なくとも次の問いを立てることが大切です。
| チェック項目 | 問い |
|---|---|
| 比較対象 | 同じ条件の人・案件・商品を比べているか |
| 分母 | 件数は十分にあるか |
| 偏り | AとBで対象者の構成が違わないか |
| 時期 | 季節性や制度変更の影響はないか |
| 因果 | 関係があるだけなのに、原因だと言い切っていないか |
7. AI時代に重要な理由:全体精度だけでは不十分
AIや機械学習でも、同じような問題は起こります。
たとえば、あるAIモデルの全体正答率が90%だったとします。
数字だけ見ると高性能に見えます。
しかし、対象を分けて見ると、次のような結果だったらどうでしょうか。
| 対象グループ | 正答率 |
|---|---|
| グループA | 96% |
| グループB | 92% |
| グループC | 70% |
全体では良いモデルに見えても、特定のグループでは精度が低い可能性があります。
AIの評価では、全体の平均精度だけでなく、データの偏り、属性別の性能、利用場面ごとのリスクを見ることが重要です。
OECDも、AI時代には一部の専門家だけでなく、多くの人にデータを使い、分析し、解釈する力が求められると指摘しています。
参考:OECD “AI and skills”
また、日本でも高校の「情報Ⅰ」などを通じて、データ活用や問題解決の学習が重視されています。
参考:文部科学省 高等学校情報科に関する特設ページ
これからの時代に必要なのは、難しい統計式を暗記することだけではありません。
数字を見たときに、次のように問い直す力です。
- この数字は、どの集団をまとめたものか
- グループ別に見ると同じ傾向か
- 分母は十分か
- 隠れている要因はないか
- 相関を因果のように言っていないか
この問いを持てるだけで、データに振り回されにくくなります。
8. よくある誤解と注意点
このテーマで誤解されやすいのは、「全体の数字は信用できない」「グループ別に見れば必ず正しい」と考えてしまうことです。
どちらも正確ではありません。
| 誤解 | 実際に大切な考え方 |
|---|---|
| 全体の数字は意味がない | 全体の傾向を見ることは重要 |
| グループ別が常に正しい | 分け方が不適切なら判断を誤る |
| 細かく分けるほど正確 | サンプル数が少ないと偶然の影響が大きい |
| 差があれば原因がある | 相関と因果は別 |
| 有名な統計なら安心 | 集計方法や分母を確認する必要がある |
全体を見るべき場面もあります。
たとえば、会社全体の売上、サービス全体の継続率、試験全体の合格率などは、全体傾向を知るうえで役立ちます。
一方で、施策改善や原因分析をしたい場合は、グループ別に見る必要があります。
重要なのは、目的に合った粒度で見ることです。
「全体か、グループ別か」ではなく、次の順番で考えると実践しやすくなります。
- まず全体を見る
- 結果に影響しそうな要因で分ける
- 分母とサンプル数を確認する
- 相関と因果を分けて考える
- 何を判断したいのかに戻る
9. 見抜くためのチェックリスト
ニュース、SNS、会社の資料、学習サービスの実績などで数字を見るときは、次のチェックリストを使うと判断しやすくなります。
| チェック | 見るポイント |
|---|---|
| 分母は何か | 何人中、何件中の割合か |
| 集団は同じか | 比較対象の条件がそろっているか |
| グループ別に見たか | 年齢、地域、難易度、経験などで分けたか |
| 偏りはないか | 片方に有利な集団が多く含まれていないか |
| 時期の影響はないか | 季節性、制度変更、外部環境の影響はないか |
| 原因と言い切れるか | 関連があるだけではないか |
| 目的に合っているか | その数字で本当に判断できるか |
特に割合を見るときは、分母の確認が欠かせません。
同じ50%でも、次の2つは意味が違います。
| 成功率 | 内容 |
|---|---|
| 50% | 2人中1人が成功 |
| 50% | 1,000人中500人が成功 |
割合が同じでも、信頼性は大きく違います。
少ないデータでは、偶然によって大きく見えることがあります。
また、強い主張ほど注意が必要です。
- 「この方法で必ず成果が出る」
- 「この施策は明らかに優れている」
- 「この属性の人は成績が低い」
- 「AIの精度は人間を超えた」
こうした表現を見るときほど、集計の仕方、分母、比較対象、交絡因子を確認しましょう。
10. FAQ:よくある質問
Q1. 簡単に言うと、どんな現象ですか?
全体で見るとAが良く見えるのに、グループ別に見るとBが良く見えるように、集計の仕方によって結論が逆転する現象です。
Q2. なぜこのような逆転が起こるのですか?
AとBで、含まれているグループの構成が違うからです。人数の多いグループが全体の割合に強く影響するため、見かけの結論が変わることがあります。
Q3. 交絡因子とは何ですか?
比較したい関係に影響を与える第三の要因です。学習法の合格率なら、もともとの学力や学習時間、受験経験が交絡因子になることがあります。
Q4. 全体とグループ別のどちらを信じればいいですか?
目的によります。全体傾向を知りたいなら全体の数字が役立ちます。原因分析や改善策を考えるなら、グループ別の確認が重要です。
Q5. グループ別に見れば必ず正しいのですか?
いいえ。分け方が不適切だったり、サンプル数が少なすぎたりすると、かえって判断を誤ることがあります。
Q6. 仕事ではどう防げますか?
全体の平均だけで判断せず、担当案件の難易度、地域、時期、経験年数、対象者の属性などで分けて確認します。さらに、分母とサンプル数も確認することが重要です。
Q7. AIや機械学習でも起こりますか?
起こります。全体精度が高くても、特定のグループでは精度が低い場合があります。AIを評価するときは、全体平均だけでなく、条件別・属性別の性能を見ることが大切です。
Q8. 統計が苦手でも理解できますか?
理解できます。高度な数式よりも、「同じ割合でも、集団の中身が違えば意味が変わる」という考え方を押さえることが大切です。
11. まとめ:数字を疑うのではなく、背景を確かめる
この現象が教えてくれるのは、数字を疑うことではありません。
数字をより正確に使うために、背景を確かめる習慣を持つことです。
重要なポイントを整理します。
| ポイント | 内容 |
|---|---|
| 全体だけでは危険 | 集団の中身が違うと、結論が逆転することがある |
| グループ別確認が必要 | 年齢、難易度、経験、部署などで分けて見る |
| 分母を見る | 割合だけでなく、人数や件数を確認する |
| 交絡因子を考える | 隠れた第三の要因がないかを見る |
| 因果を急がない | 差があることと、原因であることは別 |
| 目的に合わせる | 何を判断したいかで見るべき数字は変わる |
データリテラシーとは、難しい計算をすべて覚えることではありません。
数字を見たときに、少し立ち止まって「この集計で本当に比べられているのか」と考える力です。
全体の数字を見たら、グループ別にも見る。
割合を見たら、分母を見る。
差を見たら、原因を急がない。
この3つを意識するだけでも、統計の罠にかなり強くなれます。
仕事、勉強、AI活用、ニュースの読み取りまで、数字に振り回されず判断するための基本として、ぜひ覚えておきたい考え方です。