欠損値の埋め方を選ぶとは、データでは確かめられない前提を選ぶこと｜MCAR・MAR・MNARの実務判断
アンケートの未回答、行動ログの欠落、途中離脱後のデータ——欠損値のない実務データはほとんどありません。多くの担当者は、この欠損を「平均値で埋める」か「欠損のある行をまとめて除外する（完全ケース分析）」のどちらかで処理し、次の作業に進みます。
しかし、この処理は単なる作業ではありません。平均値で埋めた瞬間、分析者は「欠けた人も、データが残っている人と同じように平均的だっただろう」という前提を、意識せずに置いています。この前提が現実と食い違っていれば、埋めた値がどれだけ精緻に見えても、そこから導かれる結論は歪みます。
30秒で要点
- 欠損値をどう埋めるか（あるいは除外するか）を選ぶことは、「なぜ欠けたのか」というデータそのものからは確かめられない前提を選ぶことに等しい
- 欠損はMCAR・MAR・MNARの3種に分類できる。このうちMARとMNARは、観測データからは区別できない
- 場当たり的な平均値補完・欠損カテゴリの追加・直前値の繰り越しは、一般には統計的に妥当ではない
- 手法を変えるだけで結論が変わることがある。QRISK（心血管リスク予測ツール）の開発研究がその実例
前提整理：3つの欠損パターン
Sterne et al.(BMJ 2009;338:b2393)は、欠損データを次の3種類に分類しています。
| 分類 | 定義 | 業務データでの例 |
|---|---|---|
| MCAR（完全にランダムな欠損） | 欠損した値と観測できた値の間に、系統的な違いがない | システム障害でごく一部のログが記録漏れした |
| MAR（ランダムな欠損） | 系統的な違いはあるが、その違いは観測できているデータで説明がつく | 若い年齢層ほどアンケートの離脱率が高い（年齢は観測済み） |
| MNAR（ランダムでない欠損） | 観測データを考慮してもなお、系統的な違いが残る | 満足度が低い人ほど満足度調査自体に回答しない |
この3分類は優劣ではなく、「欠けた理由が、手元にあるデータで説明できるかどうか」という構造の違いです。MCARとMARは、うまく対処すれば偏りを抑えられますが、MNARは観測データだけでは対処しきれません。
なぜ「平均値で埋めれば無難」と思ってしまうのか
平均値補完が広く使われる理由は、それが「中立的な処理」に見えるからです。極端な値を作らず、データの形を大きく崩さないため、「判断を挟まずに機械的に処理した」という安心感があります。
しかし、この安心感自体が誤解の構造です。平均値で埋めるという操作は、「欠けたレコードの本当の値は、観測できているレコードの平均と同じだったはずだ」という、極めて具体的な仮説を暗黙に採用しています。これはMCAR、すなわち「欠損と観測値の間に系統的な違いがない」という前提を置くことと同じです。欠損の実態がMARやMNARであった場合、この前提は成り立たず、平均値補完は「判断を避けた中立的な処理」ではなく「間違った前提を無自覚に選んだ処理」になります。
確かなこと・まだ確かではないこと
確かなこと：Sterne et al.(2009)は、平均値による代入・欠損を表す新しいカテゴリの追加・直前の値を繰り越す（LOCF）といった場当たり的な手法について「これらの手法はいずれも一般には統計的に妥当ではなく、深刻なバイアスにつながりうる」としています。また、単一の代入（1つの推定値で埋める方法)は、欠損値が本来持っている不確実性を反映しないため、標準誤差（推定のばらつきの大きさ）を過小評価しがちだとも指摘しています。
まだ確かではないこと：同論文は、これらの手法が「一般には」妥当ではないという限定付きの表現を使っており、特定の条件下では問題が生じない場合もあります。また、完全ケース分析（欠損のある行を除外する分析）についても、常にバイアスを生むとは述べておらず、バイアスが出ない条件があることを示しています。自社のデータがどちらに該当するかは、この記事の一般論だけでは判定できず、個別に確認が必要です。
決定的な制約：MARとMNARはデータだけでは見分けられない
ここが、欠損データの扱いにおいて最も見落とされやすい点です。Sterne et al.(2009)は「観測データを用いてMARとMNARを区別することはできない」と明記しています。
これは分析技術が未熟だからではありません。MNARかどうかを確かめるには、「欠けた値そのもの」を見る必要がありますが、それはまさに欠けているために見ることができません。原理的に、手元のデータをどれだけ精密に分析しても、この問いには答えが出ません。
同論文は、MNARに由来するバイアスへの対処法として、感度分析——欠損の仕組みについて異なる前提を置いたときに、結論がどれだけ変わるかを確認する分析——を挙げています。つまり「どちらが正しいか」を決める分析ではなく、「前提次第で結論がどれだけ揺れるか」を確認する分析です。
前提の選択が結論を作った実例：QRISK研究
Sterne et al.(2009)は、心血管リスクを予測するツールQRISKの開発研究を例に挙げています。この研究では、多重代入（欠損の不確実性を複数のパターンで反映させる代入手法）を用いて作られた公表モデルでは、コレステロール値が心血管リスクと無関係という結果になりました。一方、欠損のない完全な情報を持つ人だけに限定した分析（完全ケース分析）では、コレステロールとリスクの間に明確な関連が見られたとされています。
同じデータから、代入の手順を変えただけで、結論そのものが変わりました。手法の選択が「データをどう整えるか」という前処理の一工程ではなく、結論を左右する分析上の意思決定であることを示す例です。なお、この記述はSterne et al.(2009)がQRISK研究について述べている内容であり、QRISKの元論文そのものを直接確認したものではありません。
判断軸：欠損に向き合うときの3つの問い
欠損値の処理方法を選ぶ前に、次の順番で確認すると、無自覚な前提選びを避けやすくなります。
- なぜこのデータは欠けたのか、業務知識で仮説を立てられるか：システムの不具合のような偶発的な理由か、それとも回答者の属性や心理と関係がありそうか。ここは統計ではなく、業務を知っている人の説明が必要です。
- その仮説はMCAR・MAR・MNARのどれに近いか：MCARやMARに近ければ、観測できているデータ（年齢・利用期間など）を使った代入で対処できる可能性があります。MNARに近い、あるいは判断がつかない場合は、単純な代入や除外では不十分です。
- 前提を変えたら結論はどう変わるか、確認したか：MARかMNARかを確定できない以上、1つの手法の結果だけを見て安心するのではなく、感度分析で前提を変えたときの結論の変化を確認する必要があります。
自分でも試せる、最小の検証
直近の分析で欠損値を扱った箇所を1つ選び、代入や除外の前提を1パターンだけ変えて（たとえば平均値補完を完全ケース分析に変える、あるいはその逆)、結論がどれだけ動くかを試してみてください。結論が大きく変わるようであれば、それは「前提が結論を作っている」状態であり、どちらの前提がより妥当かを業務知識に基づいて検討する必要があります。
判断の土台として押さえておくこと
- 欠損値の処理方法を選ぶことは、「なぜ欠けたのか」という、データそのものからは確かめられない前提を選ぶこと
- MCAR・MAR・MNARのうち、MARとMNARは観測データだけでは区別できない
- 場当たり的な代入手法は一般には統計的に妥当ではなく、単一代入は不確実性を過小評価しやすい
- 前提を変えるだけで結論が変わりうることを、QRISK研究の例が示している
自社のデータにある欠損の扱いや分析結果の妥当性を整理したい場合は、状況を整理するところから始めることができます。
状況を整理する（15分）より深く学ぶ
- 欠損値の扱い方とは？「平均で埋める」の前に決めるべき判断基準：scikit-learnを用いた具体的な補完手法の比較
- 統計で判断を壊さない（検証の型）：現場で起きる統計ミスの全体像
参考資料・引用元
- Sterne, J. A. C., et al. (2009). "Multiple imputation for missing data in epidemiological and clinical research: potential and pitfalls". BMJ, 338, b2393. https://pmc.ncbi.nlm.nih.gov/articles/PMC2714692/