「A/Bテスト（2つの案を同時に出し、どちらが良いかを比べる実験）は2週間回しきってから見てください」と言われたことがあります。言われた側の実情はこうです——ダッシュボードは毎朝開いています。開くなと言われても、数字が動いているあいだ見ないという運用は、現実にはほとんど成立しません。
ここで「規律が足りない」という話になりやすい。最初はそう考えていました。覗きたくなる気持ちを抑えるのが実務の難しさであって、技術の問題ではない、と。
しかし止め方のほうを調べ直すと、順序が逆でした。壊れているのは観察者の自制心ではなく、1回だけ判定する前提で組んだ検定を、何度も判定に使っているという設計の不一致です。
本記事の見立てを先に置きます。有意水準5%というのは、「誤って差があると言ってしまう確率をこれだけまで許す」という予算のようなものです。固定ホライズン検定（あらかじめ決めた標本数に達した時点で1回だけ判定する方式）は、この予算を1回の判定に全額使う設計になっています。その設計のまま10回判定すれば、同じ予算を10回使い回していることになる——仮説はここです。だとすれば、問いは「覗くのをやめられるか」ではなく「いつ止めるかを、検定を選ぶ前に決めてあるか」になります。
この見立てが当たっているなら、起きる失敗は具体的です。毎日見て、良い数字が出た日に止める。報告には「有意差が出た」と書かれ、効果の大きさも併記される。そのどちらも、止め方を決めていなかったことによって歪んでいる——しかも歪みの方向が2つあり、片方を直しても、もう片方は残ります。
本記事は止め方を先に決めるという前提設計（施策の前に目的・制約・判断基準を揃えること）に絞ります。有意水準やp値（統計的な「差がある」と言ってよいかの目安）そのものの読み方はA/Bテストの統計学入門：p値・信頼区間・効果量をどう読むかに、検定の前提と手順の選び方はt検定｜使い方・前提・例題・代替手法までわかる実務ガイドに預けます。ここでは手順を増やさず、手順を選ぶ前に決めておく1点を扱います。
30秒で要点
- 途中で覗くことで壊れるものは2つあり、別の問題である。(a)誤って「差がある」と言う確率の膨張 (b)早期に止めたときの効果の大きさの過大評価
- 固定ホライズン検定は、決めた標本数に達した1つの時点で評価する設計である。何度も判定に使う運用は、設計の前提から外れている
- 逐次検定（途中で何度も判定してよい方式）は「覗きを許す」技術ではなく取引である。途中で止められる代わりに、推定のばらつきが大きく残る
- 標本の節約も条件つきである。今回参照した表には、削減率がマイナス（増加）になるセルがある
- したがって結論は手法選択の前に来る。「いつ止めるか」は検定を選ぶ前に決まっていなければならない
先に、参照する文献の性格を置く
本記事が参照するのは、arXiv に公開されているプレプリント「Sequential Probability Ratio Test using Z-Statistics (SPRT-z): A Practical Approach for Online Experimentation」です（2026年10月21日に本文HTMLを取得して確認）。
この文献は査読前のプレプリントです。 本記事は「査読済みの研究が示した」という書き方をしません。ページ先頭の識別情報は arXiv:2606.24871v1 [stat.ME] 23 Jun 2026、分野区分は統計の方法論（stat.ME）、v1 の日付は2026年6月23日です。著者2名の所属はいずれも Atlassian と記載されています。
脚注には、ここで述べられた方法論が Atlassian の本番環境で運用されているという1文がありますが、規模も結果も書かれていません。本記事はそこから実務上の効果を読み取りません。
文献の性格を先に置く理由は、このあと数値を扱うからです。数値は条件とセットでなければ意味を持ちません。そして今回は、文献の中で本文と表の記述が食い違っている箇所もあります（後述します）。
覗きで壊れるものは、2つある
まず問題を分けます。混ざったまま対処すると、片方だけ直して安心する状態になります。
(a) 誤って「差がある」と言う確率が膨らむ
今回のプレプリントは、問題設定としてこう述べています——実務者は日常的に、連続的に監視されたデータに固定ホライズン検定を適用して繰り返し覗いており、これが第一種の誤り（本当は差がないのに差があると判定してしまうこと）の率を膨らませ、結果を無効にし、最適でない意思決定につながる、と。
ここで止めておくべき線が1つあります。この論文は、覗いた場合に誤り率がどこまで膨らむかを自分で測ってはいません。 論文のシミュレーションで比較対象になっている固定ホライズン検定は、決めた標本数に達したその1つの時点で評価されたものです。繰り返し覗いた固定ホライズン検定の挙動は、今回取得した範囲には含まれていません。
したがって本記事は、「10回見ると誤りの確率が何%になる」という形の数字を一切出しません。出せる数字が無いからです。言えるのは、論文が問題設定としてこの膨張を挙げているところまでです。
この線引きは重要です。膨張幅の数字は、探せば色々な場所に出てきます。しかし出典を辿れない数字を根拠に運用を変えると、変えた理由が後から検証できなくなります。
(b) 早期に止めると、効果の大きさを過大に見積もる
もう1つは、報告書の「効果」の欄に現れます。
論文は、逐次検定は本質的に推定の偏りを持ち込む、良い結果が出たために早期終了した検定は真の効果の大きさを系統的に過大評価する、と述べています。「たまたま大きく出た日に止めている」という構造なので、止めた時点の値は上に寄ります。
論文はこれに補正を当てています。中央値のずれを取り除く推定値（MUE）です。効き方は条件つきで示されています。想定する効果の大きさ δ が0.10、1日あたりの観測数が100というセルでは、補正前の推定の中央値が真の効果を 0.0141 だけ過大に見積もっており、MUE を当てると中央値のずれが 0.0000 になる、と書かれています。
この数字を、他の条件の値として使うことはできません。δ=0.10・1日100件というセルの値です。
そして補正には限界が明示されています。次節の取引の話が、ここから始まります。
逐次検定は「覗きを許す」技術ではなく、取引である
逐次検定を導入する動機は、ふつう「早く止められる」です。しかし論文が明記しているのは、早く止めることの対価です。
δ=0.10、1日あたり500件のセルで、補正後の推定の平均二乗誤差（推定値が真の値からどれだけずれているかを、ずれの二乗の平均で測った量）は 3.51×10⁻³ でした。同条件の固定ホライズン検定は 1.54×10⁻³ です。補正後でも、ばらつきを含めた誤差は固定ホライズン側より大きく残っています。
論文はこの差を偶然ではなく構造として説明しています。早期に止めた逐次検定は、全期間を回した固定ホライズン検定より累積の標本数が小さい。だから分散が大きくなる。MUE は偏りを補正するが、分散は減らさない。SPRT-z は点推定の精度と、実験を早く止められることを交換している——論文自身の言葉です。
ここが「覗きを許す技術」という理解との分かれ目です。逐次検定は覗きを無害にするのではなく、止める自由と推定の精度を交換します。交換なので、何を受け取り何を渡すのかを決めておく必要があります。
節約できる条件と、できない条件
標本数の節約についても、同じ扱いが必要です。
論文が負の二項分布（件数データのばらつきが大きい場合に使われる分布）を仮定して行ったシミュレーションでは、平均標本数の削減率はこうなっています。1日あたりの観測数が100／500／2500の順で、
- 効果が無い場合（δ=0.00）：36.0% / 34.7% / 17.3%
- 効果が大きい場合（δ=0.15）：45.1% / 44.8% / 27.6%
- 想定した最小の検出対象と同じ場合（δ=0.10）：24.5% / 20.5% / 2.8%
- 効果が小さく、1日2500件のセル（δ=0.05）：−1.5%（削減ではなく増加）
最後の2行が、この表の読み方を決めます。1日あたりの流入が大きいほど、削減はしぼみます。 そして効果が小さい条件では符号が反転し、固定ホライズンより多く使う結果になっています。
「逐次検定にすると2〜4割節約できる」という要約は、δ=0.00 や δ=0.15 のセルだけを見た要約です。自社のテストが「効果があるかないか際どい」領域にあるなら、参照すべきはむしろ δ=0.05〜0.10 の列です。そしてそこは、削減がほぼ無い〜マイナスの領域です。
帰無仮説のもとでは、むしろ基準を下回った
もう1つ、同じシミュレーションの結果を置きます。
差が無い（δ=0.00）という条件で、SPRT-z が誤って「差がある」と判定した割合は、1日あたり100／500／2500件の順に 0.037 / 0.036 / 0.022 でした。同条件の固定ホライズン検定は 0.046 / 0.048 / 0.050 です。名目の5%を下回っており、1日2500件のセルでは2.2%まで下がっています。
論文はこの保守性の理由を、1日のバッチが大きいと検定統計量の歩みが早い段階で「続けても見込みが無い」側の境界を越えてしまうためだと説明しています。
ここで読み方を間違えないようにします。基準を下回ることは「安全で得」ではありません。誤って差があると言う確率を低く抑えた分は、差を見つける力のほうに回っていないということです。各セル2,500回のシミュレーションであり、実データの結果ではない点も併せて置いておきます。
文献の中で、記述が食い違っている箇所がある
正確に扱うべき箇所があるので、そのまま書きます。もう1つのデータ生成の仮定（0か1で測る指標を想定したベルヌーイ分布）の結果について、本文の要約と同じ節の表が一致していません。
1つ目は、区間の当たり具合（被覆率）です。 本文は「信頼区間の被覆率は全セルで名目の95%以上である」と書いていますが、同じ節の表の被覆率の列には 0.946 / 0.936 / 0.906 というセルがあり、12セルのうち3セルが0.95を下回っています。なお要旨側は「調査したほとんどのシナリオで名目に近い被覆率」という弱い表現で、本文の「全セルで」とは温度差があります。
2つ目は、差を見つける力（検出力）です。 本文は「SPRT-z の検出力は3つの監視頻度すべてで固定ホライズン検定の約2パーセントポイント以内に収まる（0.78 対 0.80、0.79 対 0.81、0.83 対 0.90）」と書いています。しかし自ら括弧内に挙げた3組目は約7ポイント差であり、同じ文の「約2パーセントポイント以内」と噛み合いません（表の実値は 0.829 対 0.900）。
本記事は、どちらが正しいかを決めません。 前後を読んでも解消しなかったため、「文献内で記述が食い違っている」としてそのまま置きます。被覆率を「全セルで95%以上」と書くことも、「95%を下回る」と断定することも、どちらもしません。
この扱いは慎重さのためだけではありません。数値の出所を辿ると、要約どおりでないことがあるという事実そのものが、止め方の設計を自分で決めるべき理由になります。手法の性能表をそのまま信じて運用を組むと、食い違いも一緒に引き継ぐことになります。
なぜ「覗きは規律の問題」に見えてしまうのか
ここまでの整理をしても、現場の会話は「見ないようにしましょう」に戻りやすい。理由は、問題が現れる場所にあります。
覗きは人の行動として観測されます。誰がいつダッシュボードを開いたかは見えます。一方、有意水準の予算が何回に配分されているかは、どこにも表示されません。設計は目に見えず、行動は目に見える。見えるほうに原因が割り当てられるのは、構造として自然です。
もう1つは、対処のしやすさです。「見るのをやめる」は今日から始められます。「止め方を決め直す」は、関係者の合意と設計のやり直しが必要です。コストの低い対処が先に選ばれ、選ばれた対処が原因の説明に逆算されていきます。
この2つが重なると、設計の不一致が人の資質の話に翻訳されるという置き換えが起きます。そして置き換えが起きているあいだ、設計は手付かずのまま残ります。
「いつ止めるか」を決めるとは、何を決めることか
判断軸に移ります。「止め方を先に決める」は、具体的には次の4つを文章にしておくことです。測るものの定義を含めて書きます。
- 判定の回数：何回判定するのか（1回か、毎日か、週次か）。これが決まらないと、許容する誤りの予算を何回に割るかが決まりません
- 判定に使う指標の分母・分子・単位：たとえば「割合」なら、分母は対象期間に条件を満たした訪問者数（単位は人）、分子は目的の行動をした人数（単位は人）、結果は割合（単位はパーセントポイントの差）
- 止める条件：どの数字がどうなったら止めるのか。良いほうに振れた場合と、見込みが無いと分かった場合の両方を書く
- 止めたあとに何を報告するか：効果の大きさを報告するなら、早期停止による過大評価を補正するのか・しないのかを先に決める（補正しても、ばらつきは小さくなりません）
この4つのうち、実務で抜けやすいのは1と4です。1が抜けると、覗くたびに判定しているのか眺めているだけなのかが曖昧になります。4が抜けると、「有意差が出た」と「効果はこれくらい」が同じ信頼度の情報として並んでしまいます。
そして、この4つを書く作業は検定手法を選ぶ前に終わります。ここが本記事の結論です。固定ホライズンか逐次かは、1で決めた判定回数に合う道具を選ぶだけの話になります。順序が逆になると、道具の性能表を読みながら運用を決めることになり、冒頭の「規律の問題」に戻ります。
手元で試せる最小の確認
次に回っているテストで、1つだけ確認してみてください。
判定の回数が、どこかに文章で書かれているかを探す。
テスト計画書、チケット、Slackのスレッド、どこでもかまいません。「2週間回す」と書かれていても、それは期間であって判定回数ではありません。探すのは「何回、どの時点で判定するか」の記述です。
書かれていなければ、現状は「回数が決まっていない」です。このとき、毎朝ダッシュボードを開く行為が判定なのか観察なのかは、決まっていません。決まっていないものは、誰の規律でも守れません。
書かれていたら、次に見るのは3の「止める条件」が両方向について書かれているかです。良い方向だけ書かれている計画は、良い方向に振れたときだけ止まります。それは「いつ止めるか」を決めた状態ではなく、止める理由を片側だけ用意した状態です。
確かなことと、確かでないこと
確かなこと（2026年10月21日に本文HTMLを取得して確認した範囲）：論文が問題設定として、繰り返し覗く運用が第一種の誤り率を膨らませると述べていること。早期終了した逐次検定が効果の大きさを系統的に過大評価すると述べていること。MUE が中央値のずれを補正するが分散は減らさないこと。δ=0.10・1日500件のセルで補正後の平均二乗誤差が固定ホライズン側より大きいこと。負の二項分布の条件での削減率と棄却率の各セルの値。本文と表の記述が食い違っている2箇所。
確かでないこと：この文献は査読前のプレプリントです。また、本文と表の食い違いがある箇所については、どちらが正しいかを本記事は判定していません。
本記事が出していない数字：繰り返し覗いた固定ホライズン検定の誤り率の膨張幅。論文がこれを測っていないためです。また、ここに挙げたすべての数値はシミュレーションの結果であり、特定の条件（想定する効果の大きさ・1日あたりの観測数・データ生成の仮定）に紐づいています。自社の条件に移して読めるものではありません。逐次確率比検定の数式による説明も、本記事では行っていません。
止め方を決めるときに立ち返る問い
立ち返りたいのは、「この検定は、何回判定される前提で設計されているか」という問いです。回数が決まっていなければ、誤りを許す予算をどう割るかも決まっていません。予算配分が決まっていない状態では、覗く行為が結果を変えているのか、変えていないのかも分かりません。
もう1つは、「早く終わることで、何を渡しているのか」という問いです。今回の文献が明示していたのは、点推定の精度でした。渡すものを把握して渡すなら取引ですが、把握しないまま渡すと、節約したつもりで精度を失っている状態になります。
止め方の設計は、統計の知識が増えれば自動的に決まるものではありません。どの誤りをどれだけ許すかという、業務側の判断がなければ決まりません。手法の選択がその判断の代わりになることはない、というのがここでの線です。
参考資料・引用元
- Sequential Probability Ratio Test using Z-Statistics (SPRT-z): A Practical Approach for Online Experimentation（arXiv:2606.24871v1 [stat.ME]、v1 の日付は2026年6月23日。査読前のプレプリント。著者2名の所属はいずれも Atlassian と記載。2026年10月21日に本文HTMLを取得して確認）