効果検証で「差分の差分法」と「傾向スコア」のどちらを使うか｜手法選択の前に確認すべき前提
「施策の効果をあとから検証してほしい」と分析チームに依頼し、「傾向スコアで検証しました」という報告を受け取ったとき、その手法選択が妥当かどうかをどう判断すればよいでしょうか。
多くの事業側担当者は、この判断を分析チームに委ねます。統計手法の細部は専門的すぎて、口を挟む余地がないと感じるからです。しかし、差分の差分法（DID: Difference-in-Differences）と傾向スコアマッチングのどちらを使うべきかという問いは、実は統計の専門知識だけでは決まりません。「今回見落としている要因は、時間とともに変わるものか、変わらないものか」という、事業の現場を知っている人にしか答えられない前提に懸かっています。
30秒で要点
- DIDと傾向スコアの選択は統計的な優劣の問題ではなく、「見落としている要因の性質」についての前提の置き方の問題
- 傾向スコアは、観測できた要因（共変量）による偏りを消すことはできるが、観測できていない要因（未観測交絡）までは保証しない
- DIDは、未観測の要因であっても「時間を通じて対照群と処置群で同じように動く」なら扱えるが、一方だけに違う形で影響する要因（平行トレンドの破れ）までは消せない
- どちらの前提が成り立つかは、分析手法そのものではなく、事業の現場を知っている人の説明が必要になる
前提整理：この記事が扱う問い
この記事では、「施策や制度変更の効果を、実験ではなく既存データから事後的に推定する」場面を対象にします。A/Bテスト（対象者を無作為に2グループへ分けて比較する検証手法）のように事前に対照群を無作為に割り付けられる場合は、ここで扱う問題の多くは発生しません。ここで扱うのは、すでに施策が実施され、比較対象となる集団を後から選ぶしかない状況です。
なぜ「どちらでもよい」と誤解されやすいのか
DIDと傾向スコアは、どちらも「効果を検証するための統計手法」として並べて紹介されることが多く、ツールの選択肢のように見えます。分析チームが「傾向スコアでやりました」と報告してきたとき、それが「数ある手法の中から適切なものを選んだ」ように聞こえるのは、この並列的な紹介のされ方が原因です。
しかし、この2つの手法は「何を測るためのものか」という土台が異なります。傾向スコアは、比較する2つの集団の間で観測できた属性（年齢・売上規模・利用期間など）の偏りをそろえるための手法です。DIDは、時間の経過とともに両方の集団に共通して起きる変化（トレンド）を差し引くための手法です。前者は「今の時点での属性の違い」を扱い、後者は「時間による変化の違い」を扱います。この違いを「どちらの手法が優れているか」という優劣の軸で捉えてしまうと、自分たちのデータにどちらの前提が当てはまるかという、本来確認すべき問いが後回しになります。
確かなこと・まだ確かではないこと
確かなこと：Rosenbaum & Rubin (Biometrika, 1983)は、傾向スコアを「観測された共変量のベクトルが与えられたときの、特定の処置へ割り当てられる条件付き確率」と定義し、この傾向スコアによる調整が「観測されたすべての共変量による」バイアスを除去するのに十分であることを示しました。ここで確認できるのは「観測された共変量」による偏りを消せるという範囲までです。
まだ確かではないこと：この定理が成り立つための技術的な条件（強く無視できる割り当てと呼ばれる仮定など）の詳細は、原論文の本文（アブストラクト以外の部分）を確認できていないため、この記事では立ち入りません。実務でこの手法を使う場合は、その条件について別途、統計の専門書や分析チームに確認する必要があります。
傾向スコアが消せるもの・消せないもの
傾向スコアマッチングは、比較する2つの集団（施策を受けた集団と受けていない集団)を、観測できている属性が似ている者同士でペアにすることで、属性の違いによる影響を取り除こうとする手法です。Rosenbaum & Rubinが示したのは、この調整によって「観測された共変量」による偏りが除去できるという点です。
ここで見落とされやすいのが、「観測された」という限定です。分析チームがデータとして持っている属性（記録している変数）による偏りは調整できますが、記録していない、あるいは測定していない要因——たとえば「担当者のやる気」「口コミでの評判」のような、データ化されていない要因——による偏りは、傾向スコアだけでは調整できません。この観測できない要因のことを、未観測交絡と呼びます。
DIDが消せるもの・消せないもの
差分の差分法は、異なるアプローチを取ります。施策を受けた集団と受けていない集団それぞれについて、施策の前後での変化（差分）を計算し、その2つの差分をさらに比較します。この「差分の差分」を取ることで、両方の集団に共通して起きている時間の経過による変化（季節要因や市場全体のトレンドなど）を相殺できます。
この手法の代表例が、Card & Krueger (NBER Working Paper 4509, 1993)による最低賃金の研究です。1992年にニュージャージー州で最低賃金が時給4.25ドルから5.05ドルへ引き上げられた際、最低賃金が据え置かれた隣接するペンシルベニア州の店舗を比較対象として、両州のファストフード店410店を対象に雇用の変化を比較しました。結果は、ペンシルベニア州と比べてニュージャージー州の雇用が13%増加するという、当時の通説（最低賃金の引き上げは雇用を減らす）に反するものでした。ただし、この研究は特定の事例における差分の差分法の応用例として引用するものであり、最低賃金と雇用の関係についての経済学的な結論そのものが確定した、という意味ではありません。この論点についての経済学的な議論は今も続いています。
DIDが優れているのは、両州に共通する季節要因や景気変動のような「観測されていない要因」であっても、それが両州で同じように動くのであれば、差分を取ることで相殺できる点です。傾向スコアが「観測できた要因」しか調整できないのに対し、DIDは「時間を通じて一定の影響を持つ未観測要因」まで扱える可能性があります。
ただし、これには重要な前提があります。両州の雇用が、もし最低賃金の引き上げが無かったとしても同じようなペースで変化していたはず、という前提です。これを平行トレンドの仮定と呼びます。もしニュージャージー州だけに影響する別の出来事（地域限定の景気動向や、比較対象に選んだ地域固有の事情など）が同じ時期に起きていれば、この前提は崩れ、DIDの結果は施策の効果ではなく、その別の出来事の影響を拾ってしまいます。
判断軸：手法を選ぶ前に確認する2つの問い
分析チームから手法の報告を受けたとき、あるいは手法を選ぶときに、次の2つの問いを確認すると、優劣ではなく前提の妥当性で判断できます。
- 見落としている（測定できていない）要因として、何が考えられるか：担当者の能力、地域特性、口コミの評判など、データに記録されていない要因を具体的に洗い出します。これは統計の専門知識ではなく、事業の現場を知っている人の説明が必要な作業です。
- その要因は、比較する2つの集団で同じように動くと言えるか、それとも一方だけに違う形で影響しそうか：同じように動くと言えるならDIDの前提に近く、一方だけに固有の動きをしそうなら、その要因を無視できません。傾向スコアも万能ではないため、その要因が観測・記録できるものかどうかも合わせて確認します。
この2問に自信を持って答えられない場合、それは分析チームだけで完結する問題ではありません。事業側が「この期間、比較対象の集団に何か特別な出来事はなかったか」を説明する責任を負っています。
自分でも試せる、最小の検証
直近で社内に共有された効果検証のレポートを1本開いてみてください。そこに「対照群（比較対象）がどのように選ばれたか」という説明が書かれているかを確認します。書かれていない場合、その分析がDIDと傾向スコアのどちらの前提に立っているのか、あるいはどちらの前提も検討されないまま手法が選ばれたのかを、レポートの作成者に尋ねる価値があります。
判断の土台として押さえておくこと
- DIDと傾向スコアの選択は、統計的な優劣ではなく「見落としている要因の性質」についての前提の置き方の問題
- 傾向スコアは観測できた要因の偏りを消すが、未観測の要因までは保証しない
- DIDは未観測の要因でも「時間を通じて両群で同じように動く」なら扱えるが、一方だけに異なる形で動く要因（平行トレンドの破れ）は消せない
- どちらの前提が成り立つかは、分析チームだけでなく事業側の説明が必要になる
自社の効果検証の設計や、分析結果の妥当性を判断する基準を整理したい場合は、状況を整理するところから始めることができます。
状況を整理する（15分）より深く学ぶ
- 因果推論とは？相関と因果関係の違いを理解し、真の原因を見つけるデータ分析手法：因果推論そのものの基礎的な考え方
- 統計で判断を壊さない（検証の型）：現場で起きる統計ミスの全体像
参考資料・引用元
- Card, D., & Krueger, A. B. (1993). "Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania". NBER Working Paper No. 4509. https://www.nber.org/papers/w4509
- Rosenbaum, P. R., & Rubin, D. B. (1983). "The Central Role of the Propensity Score in Observational Studies for Causal Effects". Biometrika, 70(1), 41-55. https://academic.oup.com/biomet/article/70/1/41/240879