2026年10月8日にNISTの統計技法・探索的データ分析本文を再確認した。小データだから分析不能でも、少数の数字だから確実でもない。標本の目的、測定の品質、独立性、代表性、欠測、外れ値、分布を点検し、中央値・範囲・個別観測・頑健な要約と不確実性を併記する。探索と確認を分け、p値や一つの平均だけで一般化や因果を決めない。
30秒で要点
データが少ないときの問題は、計算ができないことより、少数の値から確定的な物語を作りやすいことです。NISTの探索的データ分析は、分布、外れ値、前提、可視化を先に確認し、問いに合う推定を選ぶ流れを示します。
- 「nが30未満なら不可」という一律ルールを使わない
- 平均、中央値、分布、外れ値、欠測を同じ表で見る
- 区間と効果量を示し、点推定だけで決めない
- 定性的な観察は文脈を補い、頻度や因果と混同しない
- 探索結果、確認結果、未解決の不確実性を分けて記録する
1. 小規模を件数だけで定義しない
「小規模データ」をn=30未満のように固定すると、目的と測定の違いを隠します。平均を推定するのか、異常を見つけるのか、二つの案を比べるのかで必要な情報は変わります。
表が収まらない場合は、横にスクロールできます
| 問い | 先に見ること | 結果の扱い |
|---|---|---|
| 現状を知る | 分布、中央値、欠測、期間 | 記述・探索 |
| 異常を探す | 外れ値、測定手順、再現 | 原因仮説 |
| 差を比べる | 対象の割付、効果量、区間 | 条件付き推論 |
| 次の投資を決める | 損失、最小実務差、追加調査 | 意思決定 |
NISTの探索的データ分析は、データの構造、外れ値、仮定を調べる分析の姿勢を説明しています。件数だけを見て、分析の可否を決めません。
2. まず全ての値と分布を見せる
少ないデータでは、一つの外れ値が平均と結論を大きく動かします。平均、中央値、四分位範囲、最小・最大、個々の観測値を並べ、どの値を除外したかを記録します。
表が収まらない場合は、横にスクロールできます
| 確認 | 質問 |
|---|---|
| 粒度 | 1行は顧客、注文、日、セッションのどれか |
| 欠測 | 欠けた値は偶然か、特定の人・期間に偏るか |
| 外れ値 | 入力ミスか、重要な異常か、正常な裾か |
| 独立性 | 同じ人・店舗・機器を何度も数えていないか |
| 期間 | 休日、キャンペーン、障害、季節性を含むか |
| 母集団 | 観測した人やケースが、判断対象を代表するか |
外れ値を消す前に、測定誤り、実際の異常、対象条件の違いを分けます。少数だからといって中央値だけに置き換えるのも、分布を隠す別の要約になり得ます。
3. 区間を点推定と一緒に出す
NISTの信頼区間の解説は、推定値の幅を示すことで、標本から母集団を推定する不確実性を表すと説明しています。標準偏差を推定するデータが少ないと、同じ信頼水準でも区間が広くなります。
割合や不良数が少ない場合は、正規近似が不適切なことがあります。NISTは小さい標本・失敗数の区間で、二項分布に基づく方法を紹介しています。
報告書には次を併記します。
- 点推定と単位
- 区間の種類、信頼水準、計算方法
- n、欠測・除外、分母
- 効果量と最小実務差
- どの母集団・期間へ一般化するか
- 区間が広いときの追加調査や停止条件
区間は「真値がこの範囲にある確率」と短絡せず、採用した手法の意味を説明します。
4. 少ないデータでの比較
小規模なA/Bや前後比較では、p値が出るかより、比較設計と効果の幅が重要です。
表が収まらない場合は、横にスクロールできます
| 層 | 例 | 留保 |
|---|---|---|
| 記述 | Aは8/20、Bは6/18 | 分母・期間・対象を固定 |
| 効果 | 完了率差、中央値差、比率 | 単位と実務差を示す |
| 不確実性 | 信頼区間、感度分析 | 方法と仮定を記録 |
| 決定 | 限定導入、追加調査、停止 | 損失と再評価日を決める |
同じ人を前後で測るのか、別の人を割り付けるのかで、推定と依存性が変わります。分析手法を選んだ理由と、別の前提なら結果がどう変わるかを記録します。
5. 定性的な証拠を別の列に置く
観察やインタビューは、少数でも「なぜ起きたか」の仮説を作る手がかりになります。ただし、5人が同じことを言ったことを、全顧客の50%が同じだと読み替えません。
表が収まらない場合は、横にスクロールできます
| 証拠 | できること | できないこと |
|---|---|---|
| 行動観察 | 手順、障害、回避を知る | 母集団の割合を推定する |
| インタビュー | 期待、言葉、理由の仮説 | 行動や因果を確定する |
| ログ | 頻度、時系列、離脱を測る | その理由を自動で説明する |
| 小実験 | 限定条件の差を比べる | 全環境の長期効果を保証する |
研究対象の同意、個人情報、選定理由、観察と解釈を別に残し、定量と定性が互いに何を補うかを明示します。
6. 判断ログへ戻す
合成のケースで、問い合わせ20件のうち8件が同じ入力欄で止まったとします。まず全件を確認し、入力ミス、制度理解、画面表示を分けます。表示を直す小実験を行うなら、完了率、再問い合わせ、支援依頼、期間、停止条件を先に決めます。
数字が改善しても、測定変更、対象の入れ替え、季節性が影響していないかを確認します。結論は「改善した」ではなく、対象・期間・区間・未解決の仮説とともに記録します。ケースの数値は説明用で、実在の調査結果ではありません。
7. よくある失敗
- n=30を境界にして、分布や目的を見ずに分析を禁止する
- 外れ値を理由なく削除し、平均だけを見せる
- 点推定を確定値、広い区間を失敗と呼ぶ
- 少数のインタビューを母集団の割合や因果と扱う
- p値が出たことを、代表性や再現性の証明と書く
- 合成の件数・割合・改善幅を実績として報告する
8. 少なさを隠さず、次の調査へつなぐ
小規模データでは、分析手法の名前より、問い、粒度、分布、区間、代表性、追加で学ぶ方法が重要です。観察・推定・判断を分け、少ないこと自体を隠さず、次の調査や限定導入へつなげます。
統計的な判断の境界は有意差と展開判断、観測と推定の違いはGA4の観測バイアスも参照してください。