2026年10月8日にNISTの検出力・標本数、SciPyの検定API、ASAのp値声明を再確認した。A/Bテストはp値が閾値を下回ったら勝ちとする作業ではなく、対象母集団・主要指標・最小検出効果・検出力・割付・停止条件・多重比較・欠測を先に決め、実験後に効果量と不確実性を報告する設計である。途中で有利な指標だけを選ばず、統計的有意性を事業因果や恒久的な改善へ直結させない。
30秒で要点
A/Bテストは、2つ以上の案を同じ時期にランダムな利用者へ出し、事前に決めた目的指標の差を調べる実験です。ツールの画面で「勝者」が出ることと、事業に採用することは別なので、仮説、母数、期間、信頼区間、実用上の差、検索への影響を一つの計画にします。
- 目的指標を一つ、悪化を止めるガードレールを少数決める
- サンプルサイズ・期間・停止条件を観測前に固定する
- p値だけでなく効果量、信頼区間、コスト、外部要因を読む
- URLテストではcloaking、canonical、302、早期終了の原則を守る
1. A/Bテストの定義を固定する
Google Analyticsの用語では、A/Bテストを同じページの2つ以上のvariantをランダムな利用者へ同時に表示し、特定の目的の達成を比べる実験と説明しています。Aは元の案、B以降は少なくとも一つの要素が異なる案です。Google Analytics単体で実験を実行するのではなく、第三者の実験ツールと連携して結果を解釈します。目的を「CVRを上げる」とだけ書くと、何を一件と数えるかが曖昧になります。問い合わせ送信、購入完了、重要なクリックなど、分子・分母・計測窓を先に定義します。ページ滞在時間のような補助指標を主要指標と同列に並べないことも重要です。
2. 実験前に一枚へ書く
表が収まらない場合は、横にスクロールできます
| 欄 | 例 | 未確定のまま始めた場合 |
|---|---|---|
| 仮説 | 料金の比較表を追加すると、適合した問い合わせが増える | 何を検証したか分からない |
| 対象 | 新規訪問者、モバイル、対象ページ | 異なる母集団を混ぜる |
| 主要指標 | 問い合わせ完了率 | 指標の後付けが起きる |
| ガードレール | エラー率、離脱、解約 | 小さな勝ちで大きな損失を隠す |
| 期間・停止 | 事前の最小観測量と終了条件 | 有利な瞬間で止める |
変更は一つの因果に読める粒度にします。見出し、フォーム、価格、流入を同時に変えるなら、単一のA/Bテストの勝敗ではなく、多変量の設計と必要な母数を別に考えます。
3. 母数、期間、統計的不確実性
必要な母数は、基準のコンバージョン率、検出したい最小の差、有意水準、検出力、割付比率から見積もります。具体的な数値はサイトの分布で変わるため、一般の計算例をそのまま自社へ適用しません。流入が少ない場合は、テストを長くする、より大きな差を検出対象にする、または定性的な検証へ切り替える判断もあります。
結果では、差の推定値と信頼区間を先に見ます。区間が広いなら「勝ち」ではなく、まだ不確実です。統計的に有意でも、実装費や問い合わせ品質の悪化を含めて意味のある差とは限りません。逆に有意でなくても、サンプル不足で結論が出ていない可能性があります。
4. Google Search上のテストを安全に行う
Google Search CentralのA/Bテスト指針は、検索への影響を小さくする原則を示しています。- Googlebotと人へ別内容を見せるcloakingをしない。
- 複数URLを使う場合、代替URLから元URLへ
rel="canonical"を指定する。 - 一時的なリダイレクトは301ではなく302を使う。
- 信頼できる結論に必要な期間だけ実験し、終了後は代替URL・スクリプト・マークアップを速やかに整理する。
ボタンの色や文言の小さな変更は、利用者の行動へ影響しても検索順位やスニペットへ大きく影響しない場合があります。一方、本文・URL・内部リンクを変える実験は検索の評価と利用者の実験を同時に揺らすため、SEOのレビューを別に行います。
5. 実施と分析の手順
- 仮説、主要指標、ガードレール、対象、割付を登録する。
- A/Bの配信が同時期に行われ、同じ計測定義でイベントが届くことを確認する。
- 事前に決めた最小観測量へ達するまで、途中の数値で結論を固定しない。
- 効果量、信頼区間、セグメント差、外部キャンペーン、障害を点検する。
- 採用、棄却、継続の理由と、実装後の確認期間を記録する。
結果をセグメント別に見る場合も、後付けの切り分けを探索的分析として明記します。複数の指標・期間・セグメントから都合のよい結果だけを選ぶと、偶然の差を再現可能な発見と誤認しやすくなります。
6. 合成ケースで読む
料金ページの比較表をB案へ追加し、主要指標を適合した問い合わせ完了率、ガードレールをフォームエラー率とします。Bがクリック率で上回っても、問い合わせの適合度が下がるなら採用しません。数字と結論は説明用の合成例であり、サイトの効果を表すものではありません。
7. よくある間違い
- 有意になるまで期間や指標を変更する。
- サンプル不足のまま「Bが良さそう」で終了する。
- 複数の変更を一つの勝敗へ混ぜる。
- クリックだけを主要指標にし、問い合わせ品質やエラーを見ない。
- Googlebotへだけ別のページを返す、長期間テストURLを残す。
8. 推測と観測を分け、停止条件を先に決める
A/Bテストの価値は、推測と観測を分けて次の判断を記録できることです。仮説、対象、主要指標、ガードレール、母数、期間、停止条件を先に固定し、効果量と信頼区間を実用上のコストと一緒に読みます。検索に関わるURLや本文を試すときはGoogleの指針を守り、実験終了後の整理まで計画してください。