A/Bテストサンプルサイズ計算ツール
独立した2群の二値A/Bテストに必要な人数を近似計算します。指標・固定締切・実務上の最小差を計画として保存し、結果解釈へ渡せます。
利用データの設定任意の集計は未同意
表示・操作・結果表示の回数を改善に利用します。入力本文や診断結果の内容をこの計測に含めません。同意すると、入力項目数などの件数要約も送信します。
拒否すると、このサイトから送る利用イベントと件数要約を停止します。どちらを選んでもツールを利用でき、ここで変更できます。
作りたい利用の目安: 入力・確認の量によるカテゴリ: 統計・データ分析
このツールで決まること:比較する指標・実務上の最小差・必要数・観測期間の前提を決められる
判断を前提→仮説→撤退線→1枚資料まで、順序立てて回したい方は
First byte Method で回す →関連するブログ記事
このツールについて
前提：計算は入力に基づく目安であり、実験デザイン・文脈によって必要サンプルは変わります。
使い方：ベースラインCVR・想定改善率・検出力・有意水準を正確に入力すると有用です。
解釈の注意：この数値（結果）は有意差の有無や必要サンプル数などの目安を表します。計算結果をそのまま採用してよいと取りがちです。結果はあくまで目安です。実験は段階的に検証しながら進めることを推奨します。
この判断のあと、次に整理する判断
1 つの判断は、次の判断の前提になります。次の判断軸を、関連ツールで言語化してください。
よくある質問
人数を満たしたら実験を終了してよいですか？
回答: 保存計画では事前の固定締切と全対象の観測完了を終了条件にします。必要人数は設計目標であり、人数達成や途中の有意差を理由に締切を変えません。締切時に人数が不足した場合も、非有意を理由に延長しないでください。
設計MDEと実務上の最小差は同じですか？
回答: 別の入力です。設計MDEは検出力を計算するための差で、相対%と絶対ptを選べます。費用や損失に見合う実務上の最小差は、自分の条件に基づき別に決めます。
計画を結果の画面へ渡せますか？
回答: 対応する独立二値・2群・1:1の計画をJSONに保存し、結果解釈の保存計画との照合で明示的に読み込めます。JSONは本人の記録であり、事前登録や原票の真正性を証明しません。
※ 上記は判断補助のための一般的な解説です。重要な意思決定は専門家への相談を推奨します。