施策を試す前に、何を測るかを決めて記録しておく。この助言は、社内でも定着してきました。登録した日付が残っていれば、あとから都合のよい指標を選んだのではないかという疑いを避けられます。
ところが、その前提そのものを調べた研究があります。経済学の主要誌に掲載されたランダム化比較試験（対象をくじ引きのように割り振って効果を測る方法。以下RCTと書きます）を集め、事前登録されたものとされていないものを比べた研究です。結論は、素直に読むと落ち着きが悪い形をしています。事前登録それ自体が、結果のつまみ食いや都合のよい結果だけが世に出る偏りを減らしているという証拠は、見いだせなかった。 一方で、分析計画を伴う場合には、どちらの低下とも整合的な証拠があった。
この結論を「事前登録は無意味だった」と要約することはできません。原文は「証拠が見つからなかった」と書いているのであって、効果が無いことを示したとは書いていません。この差は本記事の主題に直接関わるので、節を1つ割いて扱います。
参照したのは、Abel Brodeur、Nikolai M. Cook、Jonathan S. Hartley、Anthony Heyes による研究です。査読済み版は Journal of Political Economy Microeconomics 第2巻第3号527〜561頁（オンライン公開2024年7月8日、号の日付2024年8月1日、DOI: 10.1086/730455）、ワーキングペーパー版は IZA Discussion Paper No. 15476（2022年8月）です。いずれも2026年10月30日に確認しました（査読済み版はHTTP 200で表示を確認したものの、本文は有料で未読であり、読めたのは要旨と書誌情報のみです）。扱わないのは、効果の大きさや分析手法の詳細、そして論文が挙げている改善提案の中身です。いずれも全文を読まないと書けません。
30秒で要点
- 対象は、経済学の主要15誌に掲載されたRCT研究から集めた検定統計量15,992件である
- 要旨の結論は二つに分かれる。事前登録はしばしば分析計画を伴わないか、研究者の事後の裁量を実質的に縛るだけの詳細さを欠いている。それと整合して、事前登録それ自体の効果を支持する証拠は見いだせなかった
- 分析計画を伴う事前登録については、結果のつまみ食いと公表の偏りの双方が低下していることと整合的な証拠がある
- 原文の述べ方は「証拠が見つからない」であり、効果が無いことの証明ではない。後者と読み替えると、助言の向きが逆になる
- 版が二つある。対象期間2018年から2021年という記述は、ワーキングペーパー版の要旨にしかない
研究が見ていたのは「登録したか」ではなく「何を登録したか」
要旨は、二つの結論を並べる形で書かれています。
ひとつめ。事前登録はしばしば分析計画（pre-analysis plan、以下PAPと略されることがあります。データを集めたあとにどう分析するかを先に決めた文書）を伴っておらず、あるいはデータ収集後の研究者の行動と判断を意味のある形で縛るだけの詳細さを欠いている。これと整合して、事前登録それ自体が結果のつまみ食い（p-hacking。有意に見える結果が出るまで分析の仕方を変えていくこと）と公表の偏り（出版バイアス。有意な結果のほうが世に出やすいために生じる偏り）を減らすという証拠は見いだせなかった。
ふたつめ。事前登録が分析計画を伴う場合には、つまみ食いの低下と公表の偏りの低下の双方と整合的な証拠がある。
ワーキングペーパー版の要旨は、同じことをもう少し直接に書いています。主要な分析では、事前登録された研究の検定統計量の分布に、事前登録されていない研究と比べて意味のある差は見られなかった。しかし完全な分析計画を持つ事前登録済みの研究は、有意に p-hacking が少ない。この結果は、事前登録それ自体ではなく分析計画の重要性を指し示している、と述べています。
分けて読むべきなのは、比較の単位です。 この研究が比べているのは「登録した研究／していない研究」ではなく、最終的には「分析計画を伴う登録／伴わない登録」です。前者の比較では差が見えず、後者の比較では差と整合的な証拠が出た。だから助言の形も変わります。登録を勧めるか勧めないかではなく、登録した文書が何を決めているかを見るという形になります。
なお「有意に少ない」の有意が統計的な意味であることは文脈から読めますが、どれだけ少なかったのかは要旨に書かれていません。 効果の大きさは本記事では示せません。
「証拠が見つからなかった」と「効果がない」は違う
ここが最も読み替えられやすい箇所なので、分けて書きます。
要旨の表現は「we find no evidence that」です。これは、調べた範囲でその効果を支持する証拠が見つからなかったという報告です。効果が存在しないことを示した、という主張ではありません。検出力が足りなければ、実際に効果があっても証拠は出ません。
そして二つめの結論の表現は「evidence consistent with」です。分析計画を伴う事前登録について、つまみ食いと偏りが減っていることと整合的な証拠がある、という書き方です。原因と結果を断定する書き方ではありません。分析計画を書くほど丁寧な研究者が、ほかの点でも丁寧である、という経路でも同じ観測は得られます。
この二つの留保を外すと、結論は「事前登録に意味はなく、分析計画には意味がある」という強い命題になります。どちらの方向にも、要旨は踏み込んでいません。 読み替えを避けるには、原文の二つの言い方をそのまま持ち運ぶのが確実です。
版が二つあるので、数字の出どころを分けておく
この研究には二つの版があります。実務の文書で引用するときに混ざりやすいので、先に分けます。
- ワーキングペーパー版：IZA Discussion Paper No. 15476（2022年8月）
- 査読済み版：Journal of Political Economy Microeconomics 第2巻第3号527〜561頁（オンライン公開2024年7月8日、号の日付2024年8月1日、DOI 10.1086/730455）
ワーキングペーパー版のページ自身が、査読済み版として掲載された旨を示しています。両版で一致を確認できたのは、15,992件という検定統計量の数、15誌という対象誌の数、そして結論の向きです。
対象期間については注意が必要です。2018年から2021年という記述は、ワーキングペーパー版の要旨にあります。 査読済み版の要旨には期間の記載がありません。したがって、期間に言及するなら出典はワーキングペーパー版であり、査読済み版に付け替えることはできません。査読を経て対象期間が変わったかどうかは、今回確認していません。
論文の表と図を再現するデータとコードは、Harvard Dataverse（DOI 10.7910/DVN/F8C4YL）で公開されていると記載されています。公開されているという事実までが確認できた範囲で、中身は開いていません。
なぜ「登録した」で安心してしまうのか
この研究の結論が意外に感じられるのは、登録という行為の性質に理由があります。
ひとつは、登録は観測できるのに、縛りは観測しにくいことです。登録したかどうかは、記録の有無で機械的に判定できます。一方、その文書がデータを見たあとの選択肢を実際に狭めているかは、中身を読んで判断するしかありません。確かめやすい側が指標として採用され、確かめにくい側が省かれます。
ふたつめは、手続きの完了が目的に置き換わることです。登録を済ませると、工程が1つ終わったという感覚が残ります。本来の目的は「あとから選べる余地を減らすこと」ですが、工程として設計すると「登録を済ませること」が達成の単位になります。この置き換えは、登録のフォーマットが粗いほど起きやすくなります。空欄のままでも提出できる項目があれば、そこは埋まりません。
三つめは、反証が来ないことです。登録したあとに都合のよい指標を選んでも、登録文書が曖昧であれば、その選択は違反として検出されません。自分でも、裁量を使ったという自覚が残りません。
これまでの「事前登録せよ」と、どう整合するのか
結論が「分析計画が効いていた」であるなら、既に出している助言を撤回する必要があるのか。ここは先に答えておきます。撤回は必要ありません。
再現性の危機をどう判断するかでは、追試の前に「予測、分析計画、停止規則、除外基準を登録する」ことを挙げています。ナッジの効果量を疑うでは、「割付方法、観察期間、主要指標、除外条件、更新時刻を事前登録する」ことを挙げています。これらはいずれも、この研究が重要だとする分析計画に相当する項目です。登録するという行為だけを勧めてきたわけではありません。変わるのは強調の位置です。「事前登録しましょう」と言うときに、何を登録するかまで言わないと、助言として機能しない可能性がある。この研究から持ち帰れるのは、そこまでです。
施策検証に持ち込むときは、仮説として持ち込む
ここで線を引きます。この研究が分析したのは、経済学の学術誌に掲載されたRCTです。 企業の施策検証やA/Bテスト（2案を比べて差を見る検証）を対象にした研究ではありません。実務の検証で同じ結論が成り立つかは、この研究では検証されていません。
とはいえ、構造には似たところがあります。どちらも、データを見たあとに指標や期間や対象を選び直す余地が残る。どちらも、選び直した痕跡が外から見えにくい。だから「分析計画の有無が効く」という見立ては、実務でも検討に値する仮説です。
仮説として扱うことには、実際の違いがあります。断定として扱うと「分析計画を書いたから信頼できる」という説明になり、その説明自体が検証されません。仮説として扱えば、自分の組織で確かめる対象になります。確かめ方は、このあとの手順に置きます。
判断軸：その登録文書は、あとで何を禁じているか
登録文書を読むときの問いを、次の順で立てると判断が決まります。
- 主要な指標が一つに決まっているか。 複数が並んでいる場合、どれを主とするかが書かれているか。書かれていなければ、あとから選べます
- その指標の分母と分子と単位が書かれているか。 「改善したか」ではなく、何を何で割った数かが定まっているか
- いつ止めるかが決まっているか。 期間か件数か、どちらで止めるかが書かれているか。書かれていなければ、見たい結果が出た時点で止められます
- 除外する条件が、データを見る前の言葉で書かれているか。 「異常値を除く」は、見たあとに決められる書き方です
- 下位集団を見るなら、どの集団を見るかが先に挙がっているか。 全体で差が出なかったときに切り口を探す余地が、ここで閉じます
- 欠測や計測漏れをどう扱うかが書かれているか。 ここが空欄だと、扱い方の選択が結果を動かします
この6つは、「書いてあるか」ではなく「あとで何を禁じているか」で読みます。 項目が埋まっていても、禁じていない書き方なら裁量は残ります。たとえば2番目は、「CVR（コンバージョン率。問い合わせ等の成果に至った割合）を見る」と書くだけでは足りません。分母を訪問者とするか、特定の画面を見た人とするかで、数は変わります。
手元で確かめられる最小の手順
直近の検証について、1つだけ数えられます。
- 直近に実施した施策検証を、記録が残っている範囲で3件から5件ほど選ぶ
- それぞれについて、開始前に書いた文書（企画書・チケット・設計メモのいずれでもよい）を開く
- 前節の6つの問いに照らして、データを見たあとの選択肢を実際に狭めている項目が何個あるかを数える
- 検証後の報告に出てきた指標・期間・対象が、その文書に書かれていたものと一致するかを照合する
数えるときの定義を揃えます。
- 分子：開始前の文書に書かれていた主要指標・期間・対象と、報告に出てきたものが一致した検証の件数
- 分母：対象にした検証の総件数
- 単位：件／件（割合で見る場合は％）
この比率が低いことは、誰かが不正をしたという意味ではありません。 開始前の文書が、あとからの選択を禁じていなかったという意味です。禁じていなければ、良心に関係なく選択は起こります。だから直し方は、人を責める方向ではなく、文書に書く項目を足す方向になります。
一致しなかった検証について、「どの項目が空欄だったか」を見ると、次に足すべき項目が1つ決まります。6つ全部を一度に足す必要はありません。
確かなことと、確かでないこと
確かなこと（2026年10月30日に確認した範囲）：対象が経済学の主要15誌に掲載されたRCT研究の検定統計量15,992件であること。要旨の二つの結論と、その原文の述べ方が「証拠が見つからない」「整合的な証拠」であること。ワーキングペーパー版の要旨が対象期間を2018年から2021年とし、事前登録済みと非登録の分布に意味のある差が見られなかったと述べ、完全な分析計画を持つ研究は有意に p-hacking が少ないとしていること。書誌情報（巻号・頁・公開日・DOI）。データとコードがHarvard Dataverseで公開されていると記載されていること。
確かでないこと：効果の大きさ、分析手法の詳細、論文が挙げている改善提案の中身。査読済み版の全文は有料で読めていません（読めたのは要旨と書誌情報のみ）。ワーキングペーパー版のPDFは取得できたものの、本文を読める状態にできていません。査読を経て対象期間や数値が変わったかどうか。Harvard Dataverseで公開されているデータの中身。
この記事が踏み込んでいないこと：実務の施策検証に同じ結論が当てはまるかどうか（この研究は検証していません。本記事では仮説として扱いました）。指標の定義が揺れると数字が揃わないという論点は研究の数字が食い違うときで、検証の設計全体の組み方は、UX（使いやすさ）の改善を数字で判断する文脈でデータドリブンUXのための統計にまとめています。検証の途中で結果を覗く問題は途中で覗くのは規律ではなく設計の問題が近い論点です。
次の検証を登録する前に立ち返る問い
- この文書は、あとで何を選べなくしているか。 選べなくしている項目が1つも無ければ、登録した事実だけが残ります
- 主要な指標の分母は何か。 分母が決まっていない指標は、あとから分母を選べます
- 一致しなかったとき、人の問題として扱うか、文書の問題として扱うか。 前者を選ぶと、同じことが次も起きます
三つめは、検証に限った話ではありません。手続きを足すだけでは、裁量は減りません。 減るのは、手続きが具体的に何かを禁じたときです。どこまで禁じるかは、その検証にどれだけ賭けているかで決めてよい判断です。
参考資料・引用元
- Abel Brodeur, Nikolai M. Cook, Jonathan S. Hartley, Anthony Heyes, "Preregistration and Pre-analysis Plans: Suggestions for Improvement", Journal of Political Economy Microeconomics 2(3), 527–561（オンライン公開2024年7月8日、号の日付2024年8月1日）. DOI: 10.1086/730455（2026年10月30日に表示を確認。本文は有料で未読、要旨と書誌情報のみ参照）
- IZA Discussion Paper No. 15476（2022年8月、ワーキングペーパー版。2026年10月30日に取得・HTTP 200。要旨全文を参照）