メインコンテンツへスキップ

A/Bテストサンプルサイズ計算ツール

統計学的に信頼できるA/Bテスト結果を得るために必要なサンプルサイズを計算します。First byteの専門知識(統計学×心理学)を活かし、単なる計算だけでなく、意思決定に役立つ洞察も提供します。
First byteの独自アプローチ

AIの論理 × 人間の心理 × 統計学

このツールは、単なる統計計算ではありません。
統計学による正確な計算と、心理学に基づいた警告・推奨事項を組み合わせることで、
「統計的に正しい」だけでなく「実務上有意味な」A/Bテストを設計できるよう支援します。

テスト条件を入力

以下の情報を入力すると、必要なサンプルサイズを計算します

現在のバージョン(コントロール)のコンバージョン率

新バージョンで期待されるコンバージョン率の改善幅

通常は0.05(5%)を使用。第一種の過誤の確率

通常は0.8(80%)を使用。第二種の過誤を避ける確率

入力すると、必要なテスト期間(日数)も計算されます

左側のフォームに情報を入力し、「サンプルサイズを計算」ボタンをクリックしてください

より詳細なA/Bテスト設計・実施支援が必要ですか?

First byteでは、A/Bテストの設計から実施、結果分析まで一貫してサポートします。
統計学と心理学の両方の視点から、ビジネス成果に直結するA/Bテストを支援します。

関連するブログ記事

このツールについて

ページ先頭へ

前提:計算は入力に基づく目安であり、実験デザイン・文脈によって必要サンプルは変わります。

使い方:ベースラインCVR・想定改善率・検出力・有意水準を正確に入力すると有用です。

解釈の注意:この数値(結果)は有意差の有無や必要サンプル数などの目安を表します。計算結果をそのまま採用してよいと取りがちです。結果はあくまで目安です。実験は段階的に検証しながら進めることを推奨します。

次の一手

状況に合わせて、選んでください。