討論に勝った側が正しいとは限らない｜AIの討論を人が判定する検証は何を測っているのか

2026年10月14日にarXiv:2610.05461の要旨と第1版HTML本文を確認した。犯人が既知の推理ミステリーを題材にしたLLM生成の討論68本に4種類の修辞的介入を加え、369名が判定した結果、判定は操作された側へ平均8.6パーセントポイント動いた。この偏りはその側が正しいかどうかとは独立に生じている。査読前のプレプリントであり、題材は人工的な課題である。

AIの出力を業務で使う前に、別のAIに反論させる。あるいは2案を突き合わせて、人がどちらかを選ぶ。生成AIのレビュー体制を設計すると、この形に行き着くことがよくあります。片方だけを読むより、両方を聞いてから決めたほうが確かだという感覚があるからです。

この感覚には前提が1つ隠れています。正しい主張のほうが、誤った主張より擁護しやすいという前提です。これが成り立つなら、討論の勝敗はおおむね正しさを反映します。成り立たないなら、勝敗は別の何かを反映していることになります。

この記事では、その前提を人間の判定者で検証したプレプリントを手がかりに、討論の勝敗が何を測っているのかを考えます。結論から言えば、問題は人間がバイアスに弱いことではありません。勝敗が2つの成分の和になっていて、判定者にはその内訳が見えないという、検証の設計そのものにあります。

30秒で要点

• 討論の勝敗が正しさを反映するという前提を、369名の人間の判定者で検証したプレプリントがある
• 修辞的な介入をプールすると、判定は操作された側へ平均8.6パーセントポイント動いた（95%信頼区間 +2.9〜+14.2パーセントポイント）
• 介入は真の犯人側にも無実の容疑者側にも加えられており、偏りはその側が正しいかどうかと独立に生じた
• 4つの介入のどれも単独では統計的に有意ではなく、「どの手口が最も効くか」は分かっていない
• 勝敗が「正しさ由来の成分」と「修辞由来の成分」の和なら、判定者は内訳を分離できない。分離できない指標は正しさの代わりに使えない

表が収まらない場合は、横にスクロールできます

この研究が切り分けたのは「影響」と「正しさ」だった

扱うのは、Gefei Liu・Sonya Rashkovan・Sophia Lloyd George・Isaac Sheidlower・Serena Booth による論文「AI Safety via Debate is Compromised by Cognitive Biases」です（arXiv:2610.05461、第1版が2026年10月4日にarXivへ投稿、DOI: 10.48550/arXiv.2610.05461）。査読を経ていないプレプリントであり、この点は読み進めるうえで外せません。

研究チームは、犯人が既知の推理ミステリーを題材に、LLMが生成した討論ダイアログを68本用意しました。そこに4種類の介入を加えています。アンカリング（anchoring）、誤謬の見逃し（fallacy oversight）、専門用語の多用（pro-jargon）、冗長さ（verbosity）の4つです。討論の理由生成には openai/gpt-4.1 が使われています（温度0、最大1,500出力トークン。論文 Appendix A.4.2 の記載で、投稿時点の選定です）。

設計の核心は、介入の当て方にあります。

• 各介入を、真の犯人を主張する側または無実の容疑者を主張する側の、どちらか一方だけに適用した
• 判定者は人間で、分析対象は369名。1人が1本の討論だけを判定する被験者間デザインである
• 募集は Prolific（承認率100%・英語流暢が条件、基礎報酬 $4.50）で、研究は OSF に事前登録されている

介入を両側に振り分けたことで、「判定が操作された側に動いたのか」と「判定が正しい側に動いたのか」を分けて見られるようになります。もし修辞的な上手さが正しさと結びついているなら、介入の効果は非対称になるはずです。真の側に当てたときだけ判定が動き、偽の側に当てても動かない、という形になるはずだからです。

なお人数の読み方には注意が必要です。要旨の分析対象は369名ですが、付録の人口統計は「Prolificで承認された400名」を母数にしています（46名が途中返却、2名が時間切れで除外された前の数）。

判定は、操作された側へ8.6ポイント動いた

結果は、非対称になりませんでした。

介入をプールすると、判定は操作された側へ平均8.6パーセントポイント動きました（95%ブートストラップ信頼区間 +2.9〜+14.2パーセントポイント、χ²(1)=9.31、p=.002）。ここでの割合は「その側を犯人として選んだ判定の数 ÷ その条件の判定の総数」です。著者はこの結果を、介入が犯人側と対抗側の両方に向けられているため、この移動は正しさではなく操作された側を利するものであり、監督の仕組みとしての討論に弱点をさらすものだと述べています。

ここで止まらずに書いておくべきことがあります。4つのバイアスのどれも、単独では統計的に有意になっていません。 個別の推定値は7.1パーセントポイント（誤謬の見逃し）から11.1パーセントポイント（冗長さ）の範囲にあり、すべて操作された側に向いていましたが、Holm 補正の前後いずれでも有意に達していません。効果量が介入の種類で異なるかを調べた検定も有意ではありませんでした（χ²(3)=0.32、p=.956）。著者は理由を、各介入の係数はその介入を見た判定者だけから推定されるため標準誤差が大きくなるからだと説明しています。

つまり「冗長に書けば通りやすい」「専門用語を並べると効く」という読み方は、この研究からはできません。言えるのは、4つをまとめて見たときに、正しさと独立した移動が観察されたというところまでです。

なぜ「討論させれば正しさが浮かぶ」と感じるのか

この結果が意外に思えるとしたら、それは私たちが討論の勝敗を「正しさの近似」として扱うことに慣れているからだと思います。その慣れには、いくつか理由がありそうです。

1つ目に、負けた主張が弱かった記憶のほうが残りやすい。実際に根拠の薄い主張が論破される場面を見てきた経験があると、討論は正しさをあぶり出す装置だという像ができます。ただしその経験は、修辞の腕が両側で同じだった場合に限られます。片側だけが上手いときに何が起きるかは、別の問題です。

2つ目に、自分が何に反応したのかを事後に特定できない。「論理が通っていたから」と「言い方が落ち着いていたから」は、判定した直後の自分にも区別がつきません。区別できない以上、自分の判定は中身に反応したものだと説明するほうが自然に感じられます。

3つ目に、両方聞いたという手続きが、判定の質の保証に見える。片側だけを読んで決めるのは危ない、という感覚は正しいものです。ところが「片側より両側がよい」ことと「両側を聞けば正しさが分かる」ことは別の主張です。前者を根拠に後者を信じてしまうところに、飛躍があります。

勝敗は2つの成分の和であり、判定者に内訳は見えない

ここからは研究の結果ではなく、筆者の読み方です。

討論の勝敗を、2つの成分の和として考えてみます。

• 成分A: その主張が正しいことに由来する説得力
• 成分B: 正しさとは無関係な要素に由来する説得力（語り口、順序、分量、用語の密度など）

討論の勝敗が正しさの代理指標として使えるのは、成分Bが小さいか、あるいは成分Aと同じ方向に働くときだけです。そして判定者が手にしているのは、AとBを足した合計値だけです。合計値から内訳を復元する手段は、判定者の側にありません。

この研究が示したのは、「人間がBに引っかかった」ことよりも、Bが真偽と独立に動く成分として実在したことだと読めます。真の側に当てても偽の側に当てても同じ方向に判定が動いたのだから、Bは正しさと結びついていません。もし結びついていれば、効果は非対称に出たはずです。

この読み方を採ると、問題の置き場所が変わります。判定者の読解力を上げても、合計値から内訳を分離する手段がない限り、勝敗は正しさの代わりになりません。分離できない指標は、代理指標として使えない。 これは判断力の不足ではなく、検証設計の不備です。

研究の中には、この読み方と整合する結果が3つあります。

気づけた人は少なく、気づけても正解に近づいたわけではない

まず、バイアスへの気づきです。偏っていた側を正しく指摘できた88名は、他の参加者よりその側を犯人に選びにくくなっていました（48% 対 63%、p=.014。付録では47.7% 対 63.2%と記載）。ただしそう指摘できた人はごく少数です。どちらの側が偏っていたかを正しく指摘できたのは30%、どのバイアスだったかを正しく指摘できたのは11%にすぎません。著者はこれを、人間が信頼できる判定者であるという前提をさらに弱めるものだと位置づけています。

ここには留保が2つあります。1つは、これが相関の報告であって「気づけば防げる」という因果の報告ではないこと。もう1つは、付録で報告されているとおり、バイアス検出の基準を満たした判定者が犯人の正答率で優れていたわけではないことです。偏りを追わなくなることと、正解に近づくことは別に起きています。

成分Bを1つ取り除けても、成分Aが読み取れるようになるわけではない。この結果はそう読めます。

発言順という、誰も擁護しない成分

次に、発言順です。正解側が先に話したときの正答率は63%、後に話したときは41%でした（オッズ比0.42、95%信頼区間 0.27〜0.63、p<.001、n=369）。ここでの正答率は「真の犯人を選べた判定の数 ÷ 判定の総数」です。バイアス操作のないベースライン討論ではこの差がさらに大きく、75%対32%と報告されています（オッズ比0.16、95%信頼区間 0.06〜0.45、p<.001、n=72）。ベースライン条件は n=72 と小さいため、この数字を単独で持ち出すのは避けたほうが安全です。

発言順は事前登録された仮説の対象ではなく、デザイン上バランスを取って統制された変数です。それでもこの結果は示唆的です。発言順は、どちらの側の主張の質とも関係がありません。にもかかわらず判定を大きく動かしている。成分Bには、修辞の腕のように「上手さ」と呼べるものだけでなく、誰も意図していない配置の要素まで含まれることになります。

自己申告の熟練は、防御にならなかった

3つ目は、判定者の熟練です。使われたバイアスの名前を知っているかどうかは、それに従うかどうかに影響していませんでした（オッズ比1.00、95%信頼区間 0.87〜1.14、p=.946）。著者は、自己申告の熟練はバイアス操作への防御を提供しなかったと述べています。

推理ものに詳しいと答えた判定者の正答率は、むしろ低いほうに出ています（42%、n=86 対 58%、オッズ比0.53、95%信頼区間 0.28〜1.00、p=.048）。ただし著者自身がこれを記述的な比較として位置づけ、「いくつかの記述的な比較は逆方向に出た」という扱いにとどめています。p値も境界付近です。「詳しい人のほうが間違う」と因果めかして読むのは行き過ぎになります。

言えるのは、バイアスの名前を学ぶ研修を足しても、この研究の範囲では判定の偏りが減らなかった、というところまでです。

確かなことと、まだ確かではないこと

この研究から言えること

• 犯人が既知の推理ミステリーを題材に、LLM生成の討論68本と4種類の介入を使い、369名が判定した
• 介入をプールすると判定は操作された側へ8.6パーセントポイント動き（χ²(1)=9.31、p=.002）、その移動は正しさと独立だった
• 4つの介入のどれも単独では有意ではなく、効果量が介入間で異なる証拠もない（χ²(3)=0.32、p=.956）
• 偏りに気づけた人は少数で、気づけた人が犯人の正答率で優れていたわけでもない
• 発言順が正答率を大きく左右し、自己申告の熟練は防御にならなかった

この研究からは言えないこと

• どの認知バイアスが最も危険か（個別効果は有意ではない）
• 業務のレビューや査読など、現実の判断でも同じことが起きるか。題材は人工的な課題で、判定者は募集プラットフォーム経由の一般参加者である
• 討論を使った監督が使えないということ。著者が書いているのは弱点の指摘であり、手法の否定ではない
• この結果が査読を通るか。第1版のプレプリントである
• 筆者が置いた「成分Aと成分Bの和」という読み方が、研究者の意図と一致しているか

「どちらが説得的か」と「何と突き合わせられるか」は別の問い

では、どう設計すればよいのでしょうか。

研究の中に、ひとつ手がかりがあります。著者は判定理由の自由記述（242名分）を質的にコーディングし、動機や機会といった要素ではなく「物的証拠」に言及して着目した判定者の正答率が77%、そうでない場合が46%だったと報告しています。著者はこれを、判定者の注意を特定の種類の証拠へ向けることで支援できる可能性のある道筋（a potential avenue）と位置づけています。事前登録された検定ではない事後分析であり、「物的証拠に注目させれば正答率が上がる」と施策として読むことはできません。

それでも、この観察と「成分が分離できない」という読み方を並べると、設計上の分岐が見えてきます。

• 「どちらが説得的か」を問う仕組みは、判定者に合計値を評価させる。合計値には成分Bが混ざっており、内訳は見えない
• 「どの主張が外部の記録と突き合わせられるか」を問う仕組みは、判定者に突き合わせ先の有無を答えさせる。これは語り口の上手さでは変えられない

後者は、判定者の読解力に依存しません。突き合わせ先があるかないかは、説得的に書かれていても増えないからです。レビュー体制を設計するときに置ける判断軸は、ここだと思います。勝敗を問う仕組みを、突き合わせ先を問う仕組みで置き換えるのではなく、別の工程として分ける。

関連する論点を、別の記事でも扱っています。同じ推奨内容でも語り口によって評価が割れることは信頼を決めていたのは「誰が言ったか」ではなく「どう言ったか」だったで、説明の正しさではなくもっともらしさで信頼が決まる構造はAIの説明は「正しさ」より「もっともらしさ」で信頼されるで書きました。3本の役割は分かれています。前者2本は1つの出力をどう評価してしまうかを扱い、本記事は2つの出力を競わせる仕組みそのものが何を測るかを扱っています。

自分の組織で試せる、最小の検証

いま社内のAIレビューで使っている問いを1つ選んでください。

1. その問いを書き出す（「どちらの案が説得的か」「どちらの分析が妥当か」など）
2. 同じ問いを、「この主張のうち、外部の記録と突き合わせられるのはどれか」に差し替える
3. 直近に判定した案件を1つ取り、2通りの問いで判定し直す
4. 判定が変わったか、変わらなかったかを記録する

判定が変わったなら、それまでの判定は成分Bを拾っていた可能性があります。変わらなかったなら、その案件では突き合わせ先が十分にあったということです。どちらに出ても、自分の判定が何に反応していたかが1件分だけ見えるようになります。

余裕があれば、もう1つ加えられます。同じ案を、分量を2倍にした版と半分にした版の2通りで書き直し、判定が動くかを見る。動いたなら、その差の分は中身ではなく分量に反応していたことになります。この研究で冗長さの推定値が11.1パーセントポイントだったことを思い出すと、試す価値はありそうです。ただし、その推定値は単独では有意ではありません。確かめるのは自分の組織のほうです。