シンプソンのパラドックス：セグメントで分けると結論が逆転する

ありがちな言い回し：「全体ではAが勝っている。Aを採用しよう。」「合計のCVRで比較したから、この案でいこう。」

現場では、全体の数字だけを見て判断し、セグメント（男女・地域・経路・新規/リピートなど）で分けると、各層では結論が逆になることがあります。これをシンプソンのパラドックスといい、施策の適用対象を見誤ると判断が壊れます。

この記事が想定する読者：数値・分析を意思決定につなぎたい担当者。情報収集で止まらず、指標の定義・前提・次の一手まで整理したい方。

判断を誤るとどうなるか：一般論の理解だけで終えると、自社の母集団・目的とずれて指標や結論が空回りしやすい。前提・撤退線・次の一手まで言語化してから進めると判断がぶれにくくなります。

この記事の仮説：「全体の数字」だけで判断せず、施策の適用対象に合わせてセグメントを分けて見る習慣があると、採用・中止の判断が壊れにくくなる。

この記事でわかること

シンプソンのパラドックスとは何か（定義と名前の由来）
なぜ「全体でAが勝っている」だけでは判断が危険か（数値例つき）
セグメント・母集団の構成をどう見ればよいか
採用・中止の判断で、どの層の数字を根拠にすべきか（判断の順序とテンプレ）

1. ありがちな誤解（現場で起きる言い回し）

「全体ではAの方がCVRが高い。Aでいこう。」
「合計で見たら改善している。この施策は効いている。」
「平均で比較したから、この案を採用する。」
「セグメント別は後でいい。まずは全体で判断しよう。」

いずれも、母集団の構成（どの層がどれだけ混ざっているか）がセグメントで違うと、全体の数字と各セグメントの数字が逆の結論を示すことがある、というリスクを忘れがちです。

2. 何が間違いか（直感と数式のズレ）

シンプソンのパラドックスとは

シンプソンのパラドックスとは、セグメント（層）で分けたときの傾向と全体をまとめたときの傾向が、逆になる現象です。イギリスの統計学者エドワード・シンプソンにちなんだ名前で、「集計の仕方（どの層でくくるか）によって結論が逆転する」ことを指します。

セグメント：データを分ける軸（男女・地域・経路・新規/リピート・デバイスなど）。施策の「適用対象」に合わせてどの軸で分けるかを決める。
母集団の構成：各セグメントに「どれだけの数（母数）」が含まれているか。この構成が違うと、全体の平均や合計値が、特定の層に引きずられる。

具体例（数値）：次のような2案（A・B）のCVRを想像してください。

セグメント	母数	案AのCVR	案BのCVR	各セグメントで勝つのは
男性	900人	20%	80%	B
女性	100人	80%	20%	A
全体	1,000人	26%	74%	B

男性だけ見るとBが勝ち、女性だけ見るとAが勝つ。しかし全体では、母数が多い男性の影響でBのCVRが高く出る（Bが「全体の勝ち」）。
もし「全体ではBが勝っている」だけで判断すると、「女性向けに施策を打つ」場合には誤りになる（女性ではAが勝っているため）。逆に、全体だけ見て「Aは負け」と捨てると、女性向けではAを採用すべき機会を逃す。

つまり「全体でAが勝っている」は、「各セグメントでもAが勝っている」ことを意味しない。施策の適用対象がどの層かに合わせて、どの数字を見るかを決める必要がある。

なぜ判断が壊れるか

施策の適用対象が「全員」なら全体の数字が効くが、対象が「特定セグメント」（例：新規のみ・特定地域）なら、そのセグメントの数字を見ないと誤る。
採用・中止の判断を全体だけですると、「実はどの層でも負けている案」を採用したり、「実はどの層でも勝っている案」をやめたりする。

どこで起きやすいか

A/Bテストで、経路・デバイス・新規/リピートがテスト群ごとに偏っているとき。
地域・商品カテゴリ・キャンペーンで母数が大きく違うとき、合計値だけ見ると結論が逆転しやすい。

3. 何をすれば良いか（判断基準・必要データ・見方）

全体とセグメントの両方を見る

全体の数字：まず全体で傾向を把握する。
セグメント別：施策の適用対象（誰に・どこに・どの条件で効かせるか）に合わせて、男女・地域・経路・新規/リピート・デバイスなど、関係しそうな軸で分けて見る。
逆転の有無：全体で「Aが勝っている」とき、各セグメントで「Bが勝っている」層がないか確認する。あれば、どの層に施策を当てるかを明示して判断する。

どのセグメントを見るか

施策の適用対象に合わせて決める。例：LPの変更なら「経路別」「デバイス別」、リピート向け施策なら「新規/リピート別」。
母数が極端に偏っている軸は必ず確認する。例：A群はスマホ多・B群はPC多、だとデバイス別で結論が変わりやすい。

判断の順序

全体で傾向を確認する。
適用対象に合うセグメントで同じ指標を見る。
全体とセグメントで結論が逆になっていないかを確認する。
逆転している場合は、どの層の数字を判断の根拠にするかを決めてから採用・中止を決める。

避けること

「全体で勝っている＝採用」で止めない：セグメントで逆転していないか、少なくとも1軸は確認する。
セグメントを「後で」にしない：適用対象が特定層なら、最初からその層の数字を見る。

4. 最小検証テンプレ（誰でも再現できる）

1つだけやるなら：全体で「Aが勝っている」と判断する前に、1つでよいのでセグメント軸（経路・デバイス・新規/リピートのどれか）で分けて、「各層でもAが勝っているか」を確認する。

テンプレ例（判断ログ用）

比較対象：［ A vs B ］
全体の結論：［ Aが勝っている / Bが勝っている］
確認したセグメント：［例：経路別］
セグメント別の結論：［各層でも同じ / ○○層では逆転］
判断の根拠にした層：［全体 / 特定セグメント（○○）］

よくある質問（FAQ）

シンプソンのパラドックスとは、一言でいうと何ですか？

セグメント（層）で分けたときの傾向と、全体をまとめたときの傾向が逆になる現象です。集計の仕方によって「どちらが勝っているか」の結論が逆転することがあります。

A/Bテストでもシンプソンのパラドックスは起きますか？

はい。テスト群ごとに経路・デバイス・新規/リピートなどが偏っていると、全体ではAが勝って見えても、各セグメントではBが勝っていることがあります。適用対象（誰に・どの条件で効かせるか）に合わせて、少なくとも1軸はセグメントで分けて確認することを推奨します。

どのセグメント軸を確認すればよいですか？

施策の適用対象に合わせて決めます。LPの変更なら経路別・デバイス別、リピート向け施策なら新規/リピート別など。母数が極端に偏っている軸（例：A群はスマホ多・B群はPC多）は必ず1つは確認すると安全です。

全体とセグメントで結論が逆だったら、どちらの数字を判断の根拠にすべきですか？

施策を当てる対象がどの層かで決めます。全員に当てるなら全体の数字、特定セグメント（例：新規のみ・特定地域）に当てるなら、そのセグメントの数字を根拠にします。逆転している場合は、「どの層の数字を採用したか」を明示して判断すると、後から見ても再現可能になります。

本記事はシンプソンのパラドックスとセグメント逆転（集計の見方・判断の型）に特化しています。実際にどのセグメントを確認すべきかは施策・母集団により異なるため、統計で判断を壊さない・相関と因果・サンプルサイズの罠とあわせて自社の前提に合わせた判断をおすすめします。

次に読む・最小検証

計測・判断の設計に関するご相談はこちら

シンプソンのパラドックス：セグメントで分けると結論が逆転する