2026年10月8日にNIST/SEMATECHの探索的データ分析と信頼区間・回帰診断の現行ハンドブックを再確認した。UXのクリック率、完了率、時間、エラーは目的・分子分母・期間・分布・外れ値・比較対象を固定して記述し、散布図や平均差は関係を示しても因果を証明しない。改善判断では効果量と不確実性、セグメント差、アクセシビリティ、問い合わせ、再利用、支援負荷をガードレールとして同時に評価する。
30秒で要点
データドリブンUXは、クリック数の多い画面を選ぶ作業ではありません。利用者の目的と、何を改善したいかを先に決め、分子・分母、分布、不確実性、比較設計を順番に確認します。
- 主要指標を一つ置き、分子・分母・期間・除外を定義する
- 平均だけでなく中央値、分布、セグメント、欠測を見る
- 記述、検証、因果の主張を別の強さで書く
- 区間と最小実務差を、p値とは別に確認する
- 完了率が上がっても、支援・エラー・継続・公平性を確認する
1. 目的から指標を作る
「UXを良くする」は測定できません。利用者の仕事と、サービス側の望ましい結果を一文にします。
対象の利用者が、条件Aで、仕事Bを、時間Cと負担Dで完了する。
表が収まらない場合は、横にスクロールできます
| 目的 | 主指標の例 | 副作用・補助 |
|---|---|---|
| 申込を完了 | 完了率、完了時間 | エラー、問い合わせ、キャンセル |
| 情報を理解 | 正答、検索成功 | 再検索、離脱、支援 |
| 問題を解決 | 一回解決率 | 再問い合わせ、解決時間 |
| 再利用する | 再訪、継続 | 値引き依存、特定群の負担 |
NISTの探索的データ分析は、問いに合わせてデータの構造、外れ値、仮定を調べる姿勢を示します。指標名やツールを先に選びません。
2. 分子・分母・粒度を固定する
完了率は「完了数 ÷ 開始数」のように書けますが、開始をどこで数えるか、同じ利用者の再試行をどう扱うかで値が変わります。
表が収まらない場合は、横にスクロールできます
| 欄 | 例 |
|---|---|
| 分子 | 最終確認まで到達したセッション |
| 分母 | 対象期間に有効な申込を開始した利用者 |
| 粒度 | 利用者、セッション、注文、端末 |
| 期間 | 2026年9月1日〜30日、営業時間のみ |
| 除外 | テスト、重複、障害時間、同意なしの観測 |
| 分割 | 新規・既存、端末、支援、言語、地域 |
定義を変更したら、過去との比較をつなげず、変更日と旧定義を記録します。イベントが欠けている場合は、見えない利用者を完了していない人に数えません。
3. 平均から分布へ広げる
平均や合計は報告しやすい一方、少数の長い待ち時間や特定の端末の失敗を隠します。
- 中心: 平均、中央値、最頻値
- ばらつき: 四分位範囲、標準偏差、分位
- 形: ヒストグラム、箱ひげ、時系列
- 群: 新規・既存、端末、支援、地域
- 品質: 欠測、重複、計測変更、異常
NISTはEDAでグラフィカルな手法を重視し、分布と外れ値を見ながら前提を点検します。UXの一つの平均を「利用者の典型」と呼ぶ前に、誰のデータが含まれ、誰が欠けているかを確認します。
4. 区間と効果量を表示する
NISTの信頼区間は、標本から母集団のパラメータを推定する幅を示します。nが小さい、ばらつきが大きい、セグメントを細かくした場合、区間が広くなりやすいと説明されています。A/Bや前後比較では、次を同じカードに置きます。
表が収まらない場合は、横にスクロールできます
| 項目 | 確認 |
|---|---|
| 効果量 | 差、比率差、相対比、単位 |
| 区間 | 信頼水準、計算方法、分母 |
| 実務差 | 何ポイントなら利用者・事業に意味があるか |
| 品質 | 欠測、計測の変更、割付、期間 |
| 判断 | 継続、限定導入、追加調査、停止 |
p値だけでUXを評価せず、区間が無効果・害・必要な改善幅のどこを含むかを読みます。
5. 相関を因果へ飛ばさない
クリック率と購入率が同じ月に上がっても、広告、値引き、季節性、顧客構成、計測仕様が共通の原因かもしれません。
表が収まらない場合は、横にスクロールできます
| 主張 | 必要な根拠 |
|---|---|
| 画面Aの完了率が高い | 定義・分布・対象の記述 |
| 画面Aへ変更後に上がった | 前後の条件、外部要因、区間 |
| 画面Aが上げた | 比較、ランダム化、段階導入、因果仮定 |
| 売上を増やした | 売上定義、遅延、利益、別施策の除外 |
因果を主張する場合は、比較対象、割付、期間、干渉、欠測、停止条件を設計します。単なるダッシュボードの相関を、改善施策の証明と呼びません。
6. 合成ケースを判断表へ戻す
合成のケースで、フォーム完了率が42%から46%へ上がったとします。まず分母が同じか、計測が変わっていないか、どの利用者が増えたかを確認します。次にエラー、問い合わせ、支援、キャンセルを見て、改善幅が最小実務差を超えるかを判断します。
表が収まらない場合は、横にスクロールできます
| 観測 | 次の問い |
|---|---|
| 完了率 +4ポイント | 区間と対象群は同じか |
| 平均時間 -20秒 | 早くなったのか、途中離脱が増えたのか |
| 問い合わせ +8% | 表示の理解が悪化していないか |
| 既存顧客のみ改善 | 新規や支援利用者に副作用はないか |
数値は手順の説明用で、実在のプロダクトや実験結果ではありません。
7. よくある失敗
- 分母・期間・イベント定義を書かずに率を比較する
- 平均やクリック率をUX全体の代理指標と呼ぶ
- 相関、前後差、p値を因果の証明にする
- セグメントを後付けで増やし、有意な群だけ報告する
- 完了率が上がったので、支援や公平性も改善したと書く
- 合成ケースを自社の実績として引用する
8. ツール導入より、分母と比較設計を先に固定する
統計を使ったUX改善は、ツールの導入から始まりません。目的、指標、分母、分布、区間、比較設計、利用者への影響を順に固定し、記述と因果の強さを分けます。
顧客体験の接点設計はサービス業の顧客体験、p値だけで展開しない判断は有意差と展開判断も参照してください。