外れ値は消していいのか｜IQR法・Zスコア・修正Zスコアの使い分けと判断基準
ダッシュボードを開くと、ひとつだけ飛び抜けた数字がある。平均を押し上げていて、グラフの縦軸を引き伸ばしていて、明らかに他と違う。
このとき多くの人が最初にする質問は「これは消していいのか」です。そして次に「どの手法で判定すればいいのか」を調べます。
順序が逆です。手法は「その値が外れている」ことを教えてくれますが、「その値をどうすべきか」は教えてくれません。この記事は、その2つを分けて扱えるようにするためのものです。
※本記事は表形式のデータ（売上・件数・所要時間など）を対象にした基本的な手法を扱います。時系列データ特有の扱いや、機械学習ベースの異常検知手法の比較は範囲外です。
30秒で要点
- 外れ値の定義そのものに「何を異常とみなすか」という判断が含まれている。手法は判断を代替しない
- 検出（統計的に外れているか）と対応（消す・残す・別扱い）は別の工程。あいだに「原因の分類」が入る
- 除外の基準はデータを見る前に決める。結果に合わせて係数を動かすのは、基準ではなく後付け
| 用語 | 意味 |
|---|---|
| 四分位数 | データを小さい順に並べ、4等分する位置の値。下から25%地点がQ1、75%地点がQ3 |
| IQR | 四分位範囲。Q3 − Q1 で計算する、データ中央50%が収まる幅。単位は元のデータと同じ |
| 標準偏差 | データが平均からどれくらい散らばっているかを表す値。単位は元のデータと同じ |
| 正規分布 | 平均を中心に左右対称の釣鐘型に広がる、統計でよく使われる分布の形 |
| MAD | 中央絶対偏差。各データと中央値との差の絶対値を出し、その中央値をとったもの |
外れ値の定義には、すでに判断が埋め込まれている
米国立標準技術研究所（NIST）のEngineering Statistics Handbookは、外れ値を次のように定義しています。「母集団からのランダムサンプルにおいて、他の値から異常な距離にある観測値」（NIST/SEMATECH e-Handbook of Statistical Methods 7.1.6）。
この定義を読むときに見落としやすいのが、「異常な距離」が何センチなのかを定義が決めていないという点です。何を異常とみなすかの線引きは、分析する人に委ねられています。
つまり、外れ値は「データに客観的に存在するもの」ではなく、基準を置いてはじめて現れるものです。手法を変えれば、同じデータから違う外れ値が出てきます。これは手法が不正確なのではなく、定義がもともとそういう構造をしているからです。
3つの手法は、それぞれ違う前提の上に立っている
使い分けの実体は「精度の優劣」ではなく「前提の違い」です。
IQR法（箱ひげ図のフェンス）は、分布の形を仮定しません。NISTは、Q1・Q3・IQRを使って次のフェンスを示しています。内側フェンスは Q1 − 1.5×IQR から Q3 + 1.5×IQR、外側フェンスは Q1 − 3×IQR から Q3 + 3×IQR。内側フェンスを超える点をmild outlier、外側フェンスを超える点をextreme outlierと分類します。
NISTが挙げているN=90の実データ例では、Q1=429.75、Q3=742.25、したがってIQR=312.5、上側の内側フェンスは 742.25 + 1.5×312.5 = 1211.0 になります。データの最大値1441はこれを超えるため、mild outlierと判定されます。
ここで注意したいのは、1.5と3という係数はNISTが示す慣例的な値であり、統計理論から一意に導出された唯一解ではないということです。「なぜ1.5なのか」を突き詰めても、必然性は出てきません。
Zスコアは、正規分布を前提とします。計算式は (各データ − 平均) ÷ 標準偏差 で、単位のない値になります。前提が合っていれば扱いやすい一方、平均と標準偏差そのものが外れ値に引きずられるという弱点があります。極端な値が複数あると標準偏差が膨らみ、その結果どの値もZスコアが閾値を超えなくなる——「マスキング」と呼ばれる現象です。外れ値を探すための道具が、外れ値のせいで鈍る、という構造になっています。
修正Zスコアは、この弱点に対して、平均と標準偏差の代わりに中央値とMADを使います。一般に用いられている形は M = 0.6745 × (各データ − 中央値) ÷ MAD で、|M| > 3.5 を閾値とします。中央値とMADは極端な値の影響を受けにくいため、マスキングが起きにくくなります。なお 0.6745 と 3.5 も広く使われる慣例値であり、規格や標準として定められたものではありません。
| 手法 | 前提 | 弱点 |
|---|---|---|
| IQR法 | 分布の形を仮定しない | 係数1.5・3は慣例値 |
| Zスコア | 正規分布 | 平均・標準偏差が外れ値に引きずられる（マスキング） |
| 修正Zスコア | 分布の仮定が弱い | 係数0.6745・閾値3.5は慣例値 |
自作の例で見てみます。1日あたりの問い合わせ件数が30日分あり、多くの日が20〜40件で、キャンペーンを打った1日だけ210件だったとします。Q1=24、Q3=36ならIQR=12なので、上側の内側フェンスは 36 + 1.5×12 = 54、外側フェンスは 36 + 3×12 = 72。210件は外側フェンスも超えるので、extreme outlierになります。
「消していいか」を手法に聞いてしまう理由
ここまでの話は、少し考えれば当たり前に聞こえるかもしれません。それでも実務で順序が逆になるのは、理由があります。
手法は答えを返してくれるからです。IQR法にデータを入れれば「この3件が外れ値です」と返ってきます。一方「なぜこの値が出たのか」は、データの外側——入力画面の仕様、その日の営業イベント、センサーの設置場所——を調べないと分かりません。手間がかかるうえ、調べても分からないことがあります。
すると、確定的な答えが返ってくるほう（手法）が、判断そのものに見えてきます。「IQR法で外れ値と判定されたので除外しました」という説明は、手続きとしては筋が通って聞こえます。しかしこの文には、その値がなぜ出たのかについての情報が一切含まれていません。
NIST自身が、この点を明示しています。外れ値は注意深く調査すべきであり、しばしば調査対象のプロセスやデータ収集・記録のプロセスに関する価値ある情報を含んでいる。除去を検討する前に、なぜそれが現れたのか、同様の値が今後も現れそうかを理解しようとすべきだ、と述べています（出典は前掲のNIST 7.1.6）。
除外は、情報を捨てる操作です。捨てる前に中身を見る、という順序を守るだけで、多くの誤判断は避けられます。
検出のあとに来る、本当の分岐
実務の整理としてよく使われるのが、外れ値の原因を3つに分ける見方です。これはNISTが定めた標準分類ではなく、一般的な実務上の整理として広まっているものですが、対応を決めるうえで扱いやすい枠組みです（外れ値・異常検知の実務解説）。
- 計測・入力のエラー — 単位の取り違え、桁の入力ミス、機器の不具合。修正するか除外する
- 稀だが正しい値 — 実際に起きた、頻度の低い正常な事象。残すか、別セグメントとして扱う
- 注目すべき異常 — 不正・障害・想定外の挙動。除外するどころか、むしろアラートの対象
同じ「統計的に外れている値」でも、1なら消し、2なら残し、3なら調べます。検出手法はこの3つを区別しません。先ほどの問い合わせ210件の例なら、キャンペーンの実施記録を確認するだけで2だと分かります。確認せずに除外していたら、施策の効果がデータから消えていたことになります。
係数をあとから動かしたくなったら、それは基準ではない
もうひとつ、実務で効く運用則があります。除外の基準は、データを見る前に決めておくということです。
結果を見てから係数を調整すると、都合のよい結論が出るまで基準を動かせてしまいます。これはp値ハッキングと同じ構造です。p値（その結果が偶然でも起こりうる度合いを示す、統計的な有意性の目安）が望む水準に届くまで、分析の条件のほうを変えてしまう——という過誤です（出典は前掲の実務解説）。
実際にはこう現れます。「1.5倍で切ったら、見せたくないデータまで残ってしまった。3倍にしよう」。この瞬間、基準は基準ではなく、結論を支えるための後付けになります。
先に決めて、書き留めておく。それだけで、あとから自分でも検証できるようになります。
今日ひとつだけ試すなら
自社のダッシュボードやレポートを開き、直近で目についた外れ値を1つだけ選んでください。そのうえで、次の順に確認します。
- その値は、上の3分類（入力エラー／稀だが正しい値／注目すべき異常）のどれか。手法ではなく、元データや当日の記録を見て判断する
- 分からなければ、「分からない」で構いません。分からないという結果自体が、記録の取り方に穴があることを示しています
- いま社内で外れ値を除外しているなら、その基準は誰がいつ決めたものか。決めた記録が残っているか
1件で十分です。多くの場合、判定そのものより、判定の根拠を誰も記録していなかったことのほうが発見になります。
確かなことと、まだ確かではないこと
確かなこと：NISTが外れ値を「他の値から異常な距離にある観測値」と定義し、何を異常とみなすかを分析者の判断に委ねていること。箱ひげ図の内側・外側フェンスがQ1・Q3・IQRから計算され、1.5と3が慣例値であること。NISTが、除去の検討前に原因と再現可能性を理解しようとすべきだとしていること。
まだ確かではないこと：修正Zスコアの0.6745という係数と3.5という閾値については、本記事では実務解説を出典としており、一次資料での裏取りをしていません。広く使われている形ではありますが、規格に基づくものとして扱わないでください。また、原因の3分類も標準規格ではなく、実務上の整理です。
自社のデータについては、どちらでもありません。どの手法が自社のデータに合うか、どの係数が妥当かは、外部の資料では決まりません。手元のデータの分布を見て、決めて、記録する——そこだけは代替できない工程です。
外れ値を前にしたときに立ち返る問い
- いま自分がしているのは検出か、判断か：手法が返すのは「外れている」までで、「どうすべきか」ではない
- この値がなぜ出たのかを、データの外側で確認したか：入力ミス・稀な正常値・本物の異常は、統計量からは区別できない
- その基準は、データを見る前に決めたものか：見たあとに動かした係数は、基準ではなく結論の後付け
- 次の一手：探索の流れ全体は探索的データ分析（EDA）の進め方、統計で判断を壊さないための型は統計で判断を壊さない（検証の型）、数値を判断に使うときの前提の置き方はデータドリブンな意思決定を参照する
外れ値の扱いは、統計の問題に見えて、実際には「何を記録しているか」の問題として現れます。自社のデータで、どこまでが判断でどこからが手続きかを整理したい場合は、状況を言語化するところから始められます。
状況を整理する（15分）