分散分析（ANOVA）｜3 群比較の要点と事後検定・効果量の実務ガイド

分散分析（ANOVA）｜ 3 群以上の平均比較・事後検定・効果量の実務ガイド

「分散分析（ANOVA）を活用したいが、どう判断すればいいかわからない」

そのとき多くの人は、一元配置ANOVA、二元配置ANOVA、事後検定、効果量など「技術」を学ぶことから始めます。

もちろん技術は重要です。

ただ実務では、技術以前に「前提（目的・戦略・判断軸）」が設計されていないことで、何を学んでも噛み合わない状態になっているケースが少なくありません。

何のために分散分析（ANOVA）を活用するのか（目的）

どこで勝つのか（戦略）

何を見て良し悪しを判断するのか（判断軸）

ここが曖昧だと、分散分析（ANOVA）の活用が「作業」になりやすく、改善の方向性もブレます。

結果として、分散分析（ANOVA）を活用しても成果が出ない、改善施策を打っても成果が出ない、といったズレが起きやすくなります。

この記事が想定する読者：3群以上の平均比較でANOVAを活用したいが、目的・戦略・判断軸を設計したい担当者。

判断を誤るとどうなるか：技術（一元配置・事後検定・効果量）から入ると前提が曖昧で何を学んでも噛み合わない。先に目的・どこで勝つか・何を見て良し悪しを判断するかを決め、そのうえで前提検証→ANOVA→事後検定→効果量の順で回すと失敗しにくい。

3 群以上の平均値を比較する場面では、t 検定を繰り返すと第一種の誤りが膨張します。そこで分散分析（ANOVA）を使い、群間差の有無を一括で検定します。本記事は、前提検証と事後検定、効果量の扱いまで実務で必要なポイントを整理します。

※この記事は、分散分析（ANOVA）を理解し、判断に活用する方向けです。即効性を求める方や、すでに前提設計が明確な方には、より具体的な実践記事をおすすめします。

この記事を読む前に

この記事では、統計学の基礎知識があることを前提としています。以下の記事を事前に読んでおくと、より深く理解できます：

• 統計学超入門：統計学の基礎知識（平均、標準偏差など）
• 統計的仮説検定入門：仮説検定の基礎知識（ANOVAは仮説検定の一種です）
• t検定実践ガイド：t検定の基礎知識（ANOVAはt検定の発展形です）

TL;DR

• 目的: 3 群以上の平均差の有無を確認
• 手順: 前提確認 → ANOVA → 事後検定（Tukey/Games–Howell）→ η²
• 注意: 不等分散は Welch-ANOVA、正規性が怪しければノンパラ

!ANOVA groups

まずはここだけ（やさしい導入）

• 何をする？: 3 つ以上のグループの平均が「全体として」違うかをまず確認
• いつ使う？: LP A/B/C の CVR 比較、複数価格帯の満足度比較、教育/医療の 3 条件比較
• どう読む？: p 値で“全体差の有無”、事後検定で“どこが違うか”、η² で“差の大きさ”

用語ミニ辞典（1 行で）

• ANOVA: 3 群以上の平均差の有無を一括検定（分散の比＝ F）
• 事後検定: どの組み合わせが違うかを追加で調べる検定（多重比較を制御）
• η²/partial η²: 効果の大きさ（説明された分散の割合）。文脈で解釈
• 球面性: 繰り返し測定での分散構造仮定（満たさないと補正が必要）
• Welch-ANOVA: 等分散が怪しいときの分散分析の拡張

適用の前提（正規性・等分散・独立）

• 正規性: シャピロ–ウィルク検定、QQ プロット、サンプルサイズも考慮
• 等分散: Levene/Brown–Forsythe。満たさない場合は Welch-ANOVA
• 独立: 実験計画の担保（交絡要因の統制）

種類と選択

• 一元配置 ANOVA: 1 要因で複数群比較
• 二元配置 ANOVA: 2 要因（交互作用の検討が可能）
• 繰り返し測定 ANOVA: 同一対象を繰り返し測定（球面性の確認）

手順（実務フロー）

1. 仮説設定と要因設計（主効果/交互作用）
2. 前提確認（正規性・等分散・球面性）
3. ANOVA 実行（F 統計量・p 値）
4. 事後検定（Tukey、Holm、Games–Howell など設計に応じて）
5. 効果量の報告（η²、partial η²、ω²）と 95%CI
6. 実務的意義と意思決定（費用対効果・実装可能性）

実務ケーススタディ（LP A/B/C の CVR 比較）

目的: 3 種の LP（A/B/C）の平均 CVR の差を検証し、勝ち案を特定する。

1. 設計と前処理

• 期間・流入・端末を均衡化。異常セッションを除外（事前ルール）

1. ANOVA と前提

• 等分散が怪しければ Welch-ANOVA。非正規なら変換 or ノンパラも検討

1. 事後検定と効果量

• Tukey（等分散）/Games–Howell（不等分散）でペア差を特定
• 効果量 η²/partial η² を併記し、実務的な意味（CVR の差 × 母数）で判断

1. 意思決定

• コスト・開発工数と合わせて実装案を決定。CI が広ければ追加データ収集

事後検定の選び方（要約）

• 等分散・等サンプル: Tukey HSD
• 不等分散・不等サンプル: Games–Howell
• 多重比較全般: Holm/Benjamini–Hochberg で FWER/FDR を制御

import numpy as np
import pandas as pd
from statsmodels.stats.multicomp import pairwise_tukeyhsd

# A, B, C は 1 次元配列（例題と同様）
df = pd.DataFrame({'value': np.r_[A, B, C],
                   'group': ['A']len(A)+['B']len(B)+['C']len(C)})
print(pairwise_tukeyhsd(endog=df['value'], groups=df['group']))

# Games–Howell（要: pip install scikit-posthocs）
import scikit_posthocs as sp
print(sp.posthoc_gameshowell(df, val_col='value', group_col='group'))

import numpy as np
from scipy import stats

# 3 群のサンプル（CVR%を仮に連続値として）
A = np.array([3.2, 3.5, 3.0, 3.4, 3.1])
B = np.array([3.6, 3.8, 3.7, 3.5, 3.9])
C = np.array([3.1, 3.0, 2.9, 3.2, 3.0])

F, p = stats.f_oneway(A, B, C)
print("F=", round(F,2), "p=", round(p,4))

# 効果量 η²（簡易）
groups = [A,B,C]
grand = np.concatenate(groups)
ss_between = sum([len(g)(g.mean()-grand.mean())2 for g in groups])
ss_total = ((grand - grand.mean())2).sum()
eta_sq = ss_between/ss_total
print("eta^2=", round(eta_sq,3))

読み方の目安:

• p < 0.05 → どれかの平均が異なる可能性（事後検定へ）
• η²: 0.01/0.06/0.14 程度で小/中/大の目安（分野依存）

事後検定の実装例（Games–Howell など）は専用ライブラリの利用を推奨します。

可視化（箱ひげ＋平均 ±CI）

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

groups = [A, B, C]
plt.figure(figsize=(6,3))
plt.boxplot(groups, labels=['A','B','C'])
plt.title('Boxplot by group')
plt.tight_layout(); plt.show()

# 平均 ± 95%CI
means = [g.mean() for g in groups]
ses = [g.std(ddof=1)/np.sqrt(len(g)) for g in groups]
cis = [1.96*s for s in ses]
plt.errorbar([0,1,2], means, yerr=cis, fmt='o', capsize=4)
plt.xticks([0,1,2], ['A','B','C'])
plt.title('Mean ± 95% CI')
plt.tight_layout(); plt.show()

練習問題（理解を定着）

1. サンプルが不均等で等分散が怪しい。どの ANOVA/事後検定？

• ヒント: Welch-ANOVA と Games–Howell

1. F は有意だが η² が小さい。どう報告し、どう判断する？

• ヒント: 効果量と CI を併記し、実務意義（CVR× 母数）で判断

1. 事後検定で A–B は有意、A–C は非有意、B–C は有意。何が言える？

• ヒント: 全てのペアで効果が等方向とは限らない。群のプロファイルで解釈

次に読むおすすめの記事

分散分析（ANOVA）について理解を深めたら、以下の記事も参考にしてください：

より深く学ぶ

• 統計的仮説検定入門：仮説検定の基礎知識とANOVAの位置づけ
• t検定実践ガイド：2群比較のt検定（ANOVAは3群以上の比較）
• カイ二乗検定実務ガイド：カテゴリデータの検定

実践的な活用

• A/Bテストのための統計学：ANOVAをA/B/nテストで活用する方法
• コンバージョン率最適化ガイド：ANOVAをコンバージョン最適化で活用する方法
• データドリブンUX改善ガイド：ANOVAをUX改善で活用する方法

関連する基礎知識

• 統計学超入門：統計学の基礎知識

関連記事と次の一歩（旧）

• データサイエンス手法ハブ
• t 検定 実務ガイド
• カイ二乗検定 実務ガイド

5分診断：分散分析（ANOVA）を活用する前に確認すべきこと

分散分析（ANOVA）を活用する前に、以下の診断で自社の状況を確認することが有効な場合があります。

Q1：前提設計（目的・戦略・判断軸）が明確か？

• Yes → Q2へ
• No → 前提設計を明確にする（分散分析（ANOVA）活用の目的、どの指標を重視するか、何を見て良し悪しを判断するか）

Q2：仮説（検証したい仮説）が明確か？

• Yes → Q3へ
• No → 仮説を明確にする（帰無仮説と対立仮説の設定、検証したい仮説の具体化）

Q3：継続的な改善（効果測定・改善サイクル）ができているか？

• Yes → 次のステップへ
• No → 継続的な改善の仕組みを作る（効果測定、改善サイクル、次の施策の決定）

診断結果に基づく次のアクション：

• Q1がNoの場合：前提設計を明確にする（分散分析（ANOVA）活用の目的、どの指標を重視するか、何を見て良し悪しを判断するか）
• Q2がNoの場合：仮説を明確にする（帰無仮説と対立仮説の設定、検証したい仮説の具体化）
• Q3がNoの場合：継続的な改善の仕組みを作る（効果測定、改善サイクル、次の施策の決定）

分散分析（ANOVA）の要点と判断の軸

分散分析（ANOVA）は、3 群以上の平均値を比較する場面で、t 検定を繰り返すと第一種の誤りが膨張するのを避けるために、群間差の有無を一括で検定する手法です。

ただし、これらは一般的な傾向であり、すべてのケースに当てはまるわけではありません。状況に応じて、複数の視点から検討し、最適な方法を見つけることが重要です。

判断の軸

分散分析（ANOVA）を活用する際は、以下の判断軸を参考にすることが有効な場合があります：

1. 前提設計（目的・戦略・判断軸）が明確か
2. 仮説（検証したい仮説）が明確か
3. 継続的な改善（効果測定・改善サイクル）ができているか

ただし、これらは一般的な傾向であり、すべてのケースに当てはまるわけではありません。状況に応じて、複数の視点から検討し、最適な方法を見つけることが重要です。

重要なポイント

• 前提確認（正規性・等分散・球面性）を実施する
• 適切なANOVAの種類を選択する（一元配置、二元配置、繰り返し測定など）
• 事後検定（Tukey、Holm、Games–Howell など）でどの組み合わせが違うかを特定する
• 効果量（η²、partial η²、ω²）を併せて報告する
• 実務的意義と意思決定（費用対効果・実装可能性）を考慮する

次のステップ

今回紹介した考え方は、あくまで一つの視点です。重要なのは、自社の状況・リソース・目的に照らして、どこを採用し、どこを捨てるかを考えることです。

「正解」は存在しませんが、「自社にとって可能性が高い選択肢」を複数の視点から検討し、検証を繰り返すことで、成果につながる可能性があります。

具体的には、以下のステップを検討することが有効な場合があります：

1. 前提設計（目的・戦略・判断軸）を明確にする
2. 診断フローで自社の状況を確認する
3. 仮説設定と要因設計（主効果/交互作用）
4. 前提確認（正規性・等分散・球面性）
5. ANOVA 実行（F 統計量・p 値）
6. 事後検定（Tukey、Holm、Games–Howell など設計に応じて）
7. 効果量の報告（η²、partial η²、ω²）と 95%CI
8. 実務的意義と意思決定（費用対効果・実装可能性）

はじめて取り組む方へ（補足）

分散分析（ANOVA）は、最初から完璧を目指すよりも、目的→判断軸→小さな検証の流れを一度回してみる方が前に進みやすいです。まずは自社にとって重要度が高い論点を1つだけ選び、身近なデータで小さく試してみてください。

判断の土台として押さえておくこと

• 目的・戦略・判断軸をANOVAの前に置く：何のために3群比較するか、どこで勝つか、何を見て良し悪しを判断するか。曖昧だと作業化し成果につながらない。
• t検定の多重比較は避け、ANOVA→事後検定→効果量の流れ：第一種の誤りを抑え、F統計量・p値のあとでTukey／Holm／Games–Howell等を設計に応じて選ぶ。効果量（η²等）と95%CIを報告する。
• 前提（正規性・等分散・球面性）を確認する：満たさない場合はWelch-ANOVA・ノンパラ等を検討する。

次の一手：統計学超入門／t検定実践ガイド／統計の判断ハブ

参考資料

• Field, A. (2013). Discovering Statistics Using IBM SPSS Statistics.
• Maxwell, S. E., & Delaney, H. D. (2004). Designing Experiments and Analyzing Data.

よくある質問（FAQ）

• Q: サンプルが不均等・分散が違う
• A: Welch-ANOVA と Games–Howell を第一候補に
• Q: 正規性が怪しい
• A: ノンパラ（Kruskal–Wallis）＋効果量（η² の代替指標）を併記
• Q: 交互作用があるかも？
• A: 二元配置 ANOVA で主効果と交互作用を同時に検討