有名な研究が再現できないとき、情報をどう扱えばよいのか｜確定・仮説・伝聞を分ける

有名な研究が再現できないとき、情報をどう扱えばよいのか｜確定・仮説・伝聞を分ける

提案書に「ある研究によると」と書かれていると、その一文は他の文より強く見えます。研究というラベルには、個人の意見ではないという含みがあるからです。

ところが、その前提を揺さぶる結果が積み上がっています。心理学の主要誌に載り、広く引用されてきた研究群を対象に追試を行ったところ、元の論文の97%が有意な結果を報告していたのに対し、追試で有意な結果が得られたのは36%にとどまりました。

この記事で扱うのは、「では研究を信じるのをやめるべきか」という話ではありません。手元にある情報を、どの強さで扱ってよいのかを仕分ける規律をどう身につけるか、という話です。

30秒で要点

• 2015年のOpen Science Collaboration（OSC）研究は、心理学の主要3誌から100研究を再現した体系的な監査であり、元論文の97%が有意な結果を報告していたのに対し、検出力を高めた追試で有意な結果が得られたのは36%だった。追試の効果量は元論文の半分未満だった（Nature Reviews Psychology掲載のレビュー記事）
• 一方で、状況は固定されていない。2004年から2024年までの心理学論文240,355本のp値分布を分析した研究では、「際どい」p値（.01以上.05未満）の割合が32%から26%へ減少し、統計的検出力80%相当の期待水準に近づいている（Advances in Methods and Practices in Psychological Science掲載論文）
• 実務で使えるのは「研究を疑う」という態度ではなく、主張を確定・仮説・伝聞のどれに近いかで仕分け、確信の強さをそれに合わせる運用である
• 最小の実践は、いま提案書や意思決定に使おうとしている「〇〇という研究による」という主張を1つ選び、元論文のサンプルサイズと効果量を確認してから使うかどうかを決めること

追試で何が起きたのか

2015年に報告されたOpen Science Collaboration（OSC）の研究は、270名の著者からなる共同体が、心理学の主要3誌に掲載された100の研究を追試するという、体系的な監査でした。

結果は次のとおりです。元の論文では97%が有意な結果を報告していました。これは驚くべき数字ではありません。有意な結果が出た研究の方が掲載されやすいという傾向（出版バイアス）が知られているためです。

しかし、検出力を高めて行われた追試で有意な結果が得られたのは、36%でした。さらに、追試で観測された効果量は、元の論文の半分未満にとどまりました。

ここで注意が必要です。この結果は「元の研究の64%が間違いだった」という意味ではありません。追試で有意にならなかった理由には、少なくとも次の可能性が混ざっています。

• 元の研究が、たまたま偶然に有意な結果を拾っていた
• 元の研究の効果は存在するが、実際にはもっと小さく、追試の設計でも検出しきれなかった
• 効果が特定の条件下でのみ現れ、追試の条件がその範囲から外れていた
• 追試の側に、手続き上の違いや不備があった

「再現できなかった」は「誤りだった」ではなく、「その主張を支える証拠は、思っていたより弱い」という情報です。この区別を飛ばすと、今度は「心理学はすべて信用できない」という別の極端に振れることになります。

なお、ここで参照しているのは、Nature Reviews Psychology誌に掲載されたレビュー記事（Journal Club）を通じて確認したOSC研究の内容です。OSC研究そのものの原著論文ではなく、その解説を経由した情報である点は、この記事自体の証拠の強さとして把握しておく必要があります。

状況は固定されていない、という別の観測

ここで話を終えると、「学術研究は当てにならない」という結論だけが残ります。しかし、別の角度からの観測も報告されています。

2004年から2024年までの心理学論文240,355本のp値分布を分析した研究は、「際どい」p値——.01以上.05未満、つまりぎりぎり有意とされる範囲——の割合が、32%から26%へ減少したと報告しています。この水準は、統計的検出力80%相当で期待される水準に近づいているとされます。

なぜこれが意味を持つのか。ぎりぎり有意な結果の多さは、分析を繰り返して有意になる組み合わせを探す（いわゆる「p値ハッキング」）といった慣行の存在を示唆する間接的な指標とされてきました。その割合が減っているということは、研究実践そのものが変化している可能性を示します。

ただしこれは間接指標です。p値の分布が改善していることと、個々の研究が再現できることは、同じではありません。この研究が測ったのは分布の傾向であって、再現性そのものではない、という限界があります。

それでも、この2つを並べると見え方が変わります。「学術研究は再現できない」という固定的な性質の話ではなく、「時期と分野によって、証拠の質は変わりうる」という動的な話になる。だとすれば、実務側が持つべきなのは研究一般への不信ではなく、目の前の主張ごとに強さを見積もる作業ということになります。

なぜ私たちは「研究による」という一言を強く受け取ってしまうのか

仕分けの話に入る前に、なぜこの仕分けが自然にはできないのかを見ておきます。

理由の1つめは、情報の出所が伝わる過程で、確からしさの情報が落ちることです。元の論文には「サンプルサイズ○名」「効果量は小さい」「この条件下では」といった限定が書かれています。しかし要約され、記事になり、提案書に引用される過程で、限定は削られ、結論だけが残ります。限定は情報量が多く、結論は情報量が少ない。伝達は短い方に流れます。

2つめは、研究というラベルが、判断の責任を軽くしてくれることです。「私はこう考えます」と書けば、その根拠を説明する責任が自分に残ります。「ある研究によると」と書けば、責任は研究の側に移ったように感じられます。この心理的な軽さは、証拠の強さとは無関係に働きます。

3つめは、引用の多さを再現性と取り違えやすいことです。よく引用される研究は、よく知られている研究です。しかし引用数は注目度の指標であって、追試で確認された度合いの指標ではありません。OSCが対象にしたのは、まさに主要誌に載った研究群でした。有名であることは、再現されていることを意味しません。

この3つが重なると、「研究による」という一言が、実際の証拠の強さよりも重く扱われる状態が生まれます。

確定・仮説・伝聞に分けて扱う

では、どう仕分けるか。First byteでは、判断の材料になる主張を、次の3つのどれに近いかで扱うことを提案します。

確定に近いものは、複数の独立した追試で同じ方向の結果が確認されている主張です。個々の数値には幅があっても、方向性については繰り返し確認されている状態を指します。ここに属する主張は、意思決定の前提に置いてよい。

仮説に近いものは、単一の研究による報告、査読前のプレプリント、あるいは理論的な提案にとどまる主張です。方向としては注目に値するが、まだ確認されていない。ここに属する主張は、意思決定の前提ではなく、検証すべき候補として扱うのが適切です。

伝聞に近いものは、出典をたどれない引用、「一般に知られている」という形で伝わってきたもの、元をたどると別の主張だったものです。ここに属する主張は、判断の材料から外すか、外せないなら元をたどってから使うことになります。

3分割そのものが目的ではない

この仕分けを厳密に行おうとすると、すぐに行き詰まります。追試が2件では確定なのか。分野が違えば基準も違うのではないか。境界は実際には曖昧です。

重要なのは正確に3分割することではなく、自分がいまどのラベルの主張を使っているかを自覚することです。仮説を仮説として使うなら問題は起きません。問題が起きるのは、仮説を確定として扱い、それを前提に大きな意思決定を固定してしまう場合です。

言い換えると、この仕分けが効くのは、確信の強さを主張の強さに合わせるためです。証拠が弱い主張に強い確信を持てば、後から反証が出たときに動けなくなります。証拠が弱いと分かったうえで採用していれば、反証が出たときに前提を置き直せます。

判断に迷ったときの3つの問い

• この主張は、何によって支えられているか？ 複数の追試か、単一の研究か、それとも出典をたどれない伝達か
• この主張が間違っていたら、何が崩れるか？ 崩れるものが大きいほど、確認にかける労力を上げる価値があります
• 限定条件はどこへ行ったか？ 元の研究にあったはずの対象・条件・効果の大きさが、いま自分が見ている形から落ちていないかを確認します

明日から試せる、最小の検証

すべての出典を確認する必要はありません。確認する価値があるのは、その情報が実際に意思決定を動かす場合だけです。

そこで、次の1回だけ試せる手順を提案します。

いま提案書や意思決定に使おうとしている「〇〇という研究による」という主張を1つ選び、元論文にあたって、サンプルサイズと効果量を確認してください。そのうえで、その主張を使うかどうかを決めます。

確認したときに起こりうることは、だいたい次のどれかです。

• サンプルサイズが想定よりずっと小さい、または効果量が小さいと分かる → 主張の強さを下げて使う
• 元をたどると、その主張は元論文には書かれていなかった → 使わない
• 想定どおり、複数の追試に支えられていた → 確定に近いものとして安心して使える
• 元論文にたどり着けない → その時点で伝聞として扱う

どの結果になっても、判断は前より正確になります。この作業にかかるのはたいてい15分程度で、それが意思決定を動かす主張であれば、割に合う投資です。

確かなことと、まだ確かでないこと

確かなこと

• 2015年のOSC研究は心理学の主要3誌から100研究を追試し、元論文の97%が有意な結果を報告していたのに対し、検出力を高めた追試で有意だったのは36%だったと報告されている。追試の効果量は元論文の半分未満だった
• 2004年から2024年までの心理学論文240,355本のp値分布を分析した研究は、.01以上.05未満の「際どい」p値の割合が32%から26%へ減少し、検出力80%相当で期待される水準に近づいていると報告している

まだ確かでないこと

• 追試で有意にならなかった研究のうち、どれだけが元の結果の誤りで、どれだけが条件の違いや追試側の要因によるものかは、この情報からは分からない
• p値分布の改善は間接的な指標であり、個々の研究の再現可能性が実際に高まったことを直接示すものではない
• ここで扱ったのはいずれも心理学分野の観測である。他の分野の研究に、同じ比率がそのまま当てはまるとは限らない
• OSC研究の数値は、レビュー記事を通じて確認したものである。原著論文に直接あたった場合に、より詳しい条件が付いている可能性がある

静かに残しておきたいこと

この記事は、研究を信じるなという話ではありません。むしろ逆で、研究を使い続けるために必要な作法の話です。

証拠にもとづいて判断するという姿勢は、「証拠があれば正しい」という単純な形では成立しません。証拠には強さの幅があり、その幅を無視して扱うと、強い証拠と弱い証拠が同じ重さで意思決定に流れ込みます。そうなると、証拠にもとづいているつもりで、実際には出会った順に判断していることになります。

確定・仮説・伝聞を分ける作業は、情報を減らすためではなく、それぞれを適切な重さで使えるようにするためのものです。

そして、この作業には終わりがありません。今日「確定に近い」と判断した主張が、来年には追試で揺らぐこともあります。だからこそ、主張そのものを覚えるより、主張の強さを見積もる手つきを持っている方が、長く効くのではないか——というのが、この記事の立場です。

次の一手：統計で判断を壊さない（検証の型）で現場で起きやすい統計ミスの具体例を、Web・AI・マーケティングにおける判断軸の作り方で判断軸そのものの立て方を、それぞれ深掘りできます。この記事は、その手前にある「証拠の強さをどう見積もるか」という評価の規律を扱いました。

この記事で扱わなかったこと

個々の統計手法の使い分け（どの検定を選ぶか、信頼区間をどう読むか）には踏み込んでいません。そちらは、証拠の強さを見積もる規律を持ったうえで必要になる次の段階の話です。ここで扱ったのは、その前段にある「この主張はどの強さで語ってよいものか」という仕分けに絞っています。

この記事で扱ったような、判断の材料にしている情報の強さを自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。