A/Bテストサンプルサイズ計算ツール
統計学的に信頼できるA/Bテスト結果を得るために必要なサンプルサイズを計算します。First byteの専門知識（統計学×心理学）を活かし、単なる計算だけでなく、意思決定に役立つ洞察も提供します。
想定所要時間: 約2分カテゴリ: 統計・データ分析
判断を前提→仮説→撤退線→1枚資料まで一気通貫で回したい方は
First byte Method で回す →First byteの独自アプローチ
AIの論理 × 人間の心理 × 統計学
このツールは、単なる統計計算ではありません。
統計学による正確な計算と、心理学に基づいた警告・推奨事項を組み合わせることで、
「統計的に正しい」だけでなく「実務上有意味な」A/Bテストを設計できるよう支援します。
テスト条件を入力
以下の情報を入力すると、必要なサンプルサイズを計算します
現在のバージョン（コントロール）のコンバージョン率
新バージョンで期待されるコンバージョン率の改善幅
通常は0.05（5%）を使用。第一種の過誤の確率
通常は0.8（80%）を使用。第二種の過誤を避ける確率
入力すると、必要なテスト期間（日数）も計算されます
左側のフォームに情報を入力し、「サンプルサイズを計算」ボタンをクリックしてください
より詳細なA/Bテスト設計・実施支援が必要ですか？
First byteでは、A/Bテストの設計から実施、結果分析まで一貫してサポートします。
統計学と心理学の両方の視点から、ビジネス成果に直結するA/Bテストを支援します。
関連するブログ記事
このツールについて
前提：計算は入力に基づく目安であり、実験デザイン・文脈によって必要サンプルは変わります。
使い方：ベースラインCVR・想定改善率・検出力・有意水準を正確に入力すると有用です。
解釈の注意：この数値（結果）は有意差の有無や必要サンプル数などの目安を表します。計算結果をそのまま採用してよいと取りがちです。結果はあくまで目安です。実験は段階的に検証しながら進めることを推奨します。
この判断のあと、次に整理する判断
1 つの判断は、次の判断の前提になります。次の判断軸を、関連ツールで言語化してください。
よくある質問
サンプルサイズに到達したら、テストは止めていいですか？
回答: 計画したサンプルサイズに達するまでは止めないのが原則です。途中で『有意になった』と判断して止めると（peeking）、実際は偶然の差を実差と誤認するリスクが上がります。
有意差が出れば、施策は成功と判断していいですか？
回答: 有意差は『偶然ではなさそう』を示すだけで、効果の大きさ（実用上の意味）は別に評価が必要です。効果量・信頼区間・運用コストを合わせて判断してください。
サンプルサイズが大きすぎる気がします。減らせませんか？
回答: 減らせます。検出したい差（最小効果量）を大きくする、検出力を 80% から下げる、有意水準を緩めるなどの調整は可能ですが、それぞれ『見逃す確率／誤検出する確率』が変わるトレードオフがあります。
※ 上記は判断補助のための一般的な解説です。重要な意思決定は専門家への相談を推奨します。