A/Bテストサンプルサイズ計算ツール
統計学的に信頼できるA/Bテスト結果を得るために必要なサンプルサイズを計算します。First byteの専門知識(統計学×心理学)を活かし、単なる計算だけでなく、意思決定に役立つ洞察も提供します。
First byteの独自アプローチ
AIの論理 × 人間の心理 × 統計学
このツールは、単なる統計計算ではありません。
統計学による正確な計算と、心理学に基づいた警告・推奨事項を組み合わせることで、
「統計的に正しい」だけでなく「実務上有意味な」A/Bテストを設計できるよう支援します。
テスト条件を入力
以下の情報を入力すると、必要なサンプルサイズを計算します
現在のバージョン(コントロール)のコンバージョン率
新バージョンで期待されるコンバージョン率の改善幅
通常は0.05(5%)を使用。第一種の過誤の確率
通常は0.8(80%)を使用。第二種の過誤を避ける確率
入力すると、必要なテスト期間(日数)も計算されます
左側のフォームに情報を入力し、「サンプルサイズを計算」ボタンをクリックしてください
より詳細なA/Bテスト設計・実施支援が必要ですか?
First byteでは、A/Bテストの設計から実施、結果分析まで一貫してサポートします。
統計学と心理学の両方の視点から、ビジネス成果に直結するA/Bテストを支援します。
関連するブログ記事
このツールについて
前提:計算は入力に基づく目安であり、実験デザイン・文脈によって必要サンプルは変わります。
使い方:ベースラインCVR・想定改善率・検出力・有意水準を正確に入力すると有用です。
解釈の注意:この数値(結果)は有意差の有無や必要サンプル数などの目安を表します。計算結果をそのまま採用してよいと取りがちです。結果はあくまで目安です。実験は段階的に検証しながら進めることを推奨します。