A/Bテスト結果解釈ツール
A/Bテスト
利用データの設定任意の集計は未同意
表示・操作・結果表示の回数を改善に利用します。入力本文や診断結果の内容をこの計測に含めません。同意すると、入力項目数などの件数要約も送信します。
拒否すると、このサイトから送る利用イベントと件数要約を停止します。どちらを選んでもツールを利用でき、ここで変更できます。
学びたい利用の目安: 入力・確認の量によるカテゴリ: 統計・データ分析
このツールで決まること:事前計画と実施条件の差・不足・区間を確認し、本人の採否と次行動を記録できる
判断を前提→仮説→撤退線→1枚資料まで、順序立てて回したい方は
First byte Method で回す →保存計画と結果の照合
計画JSONを読み込み、実際の集計条件と照合します。途中結果・計画相違・確認不足では記述集計のみを示します。確認は利用者の申告であり、原票・無作為化・事前登録の検証ではありません。
計画・結果JSONを読み込む
読込み候補を確認してから適用します。適用すると現在の資料を置き換えます。必要な記録を先に保存してください。JSONは利用者の申告であり、記録の真正性を保証しません。
サンプルサイズ計算・実験設計で保存したJSONを指定してください。読み込みだけでは新しい集計・判断を実行しません。
Aバリアント（現行）
コンバージョン率
5.00%
Bバリアント（新規）
コンバージョン率
6.00%
検定設定
結果を見る前に決めた、CVRの絶対差（パーセントポイント）です。未入力なら実務的な大きさは判定しません。
データを入力して結果を解釈すると、詳細な分析が表示されます
このツールについて
前提：解釈は入力に基づく示唆であり、実験デザイン・文脈によって結論は変わります。
使い方：コンバージョン数・サンプルサイズ・有意水準を正確に入力すると有用です。
解釈の注意：有意差＝意思決定の結論と早とちりしがちです。統計的有意と実務的な重要性は別です。重要な判断は検証を重ねることを推奨します。
この判断のあと、次に整理する判断
1 つの判断は、次の判断の前提になります。次の判断軸を、関連ツールで言語化してください。
よくある質問
保存した計画と違う場合はどう扱いますか？
回答: 計画照合では、定義・期間・実施条件が未確認や相違、追跡未完了なら記述集計に留めます。通常のp値や区間による計画完了の判断へ進めません。実際の人数が完全に同じでないことだけでは、1:1割付の違反と判定しません。
有意差がないと効果ゼロや同等と言えますか？
回答: 言えません。効果の推定値と区間、事前に決めた実務閾値、測定と計画の整合を確認します。区間と閾値の関係は自動採否に変換せず、利用者が理由・懸念・次の行動を記録します。
結果や判断を保存し、修正できますか？
回答: 計画・観測値・根拠・採否をJSONで保存し、候補を確認して再開できます。計画や観測、判断理由を変えると以前の採否確認を失効し、文章は残します。復元だけでは新たに計算した扱いにしません。
※ 上記は判断補助のための一般的な解説です。重要な意思決定は専門家への相談を推奨します。