AIの出力を社内の判断材料にするとき、検証の手順はだいたい2つに落ち着きます。「もう一度確認して」と再考させるか、「反対の立場からも検討して」と反論を当てるか。どちらも自然な手続きで、人間の仕事でも使われてきたやり方です。
この2つが、それぞれ逆向きに歪むという研究があります。Nature Machine Intelligence に2026年4月22日付で載った「Competing Biases underlie Overconfidence and Underconfidence in LLMs」（Dharshan Kumaran, Stephen M. Fleming ほか、第8巻614–627頁、オープンアクセス）です。
結論の形が、運用に直接関わってきます。自信過剰と自信不足は、別のモデルの性質ではなく、同じモデルの別の条件として現れました。 つまり確信度は、そのAIの正しさの程度ではなく、こちらが問いをどう置いたかの関数になっています。
先に範囲を区切ります。主要な実験は、世界の都市の緯度を二択で答える課題です。ほかに4択に変換した事実問題と算数の課題が使われています。対象となった6モデルは Gemma 3 12B、Gemma 3 27B、GPT-4o、GPT o1-preview、DeepSeek-Chat、Llama 70B Instruct で、いずれも論文公開（2026年4月22日）時点の選定です。それより後に出たモデルについて、本記事は何も言いません。転用できるのは構造（2つの仕組みが逆向きに働く）だけで、13.1%や2.17倍といった係数は転用できません。
30秒で要点
- 初回回答を見せたまま再考させると回答の変更率は13.1%、隠すと34.0%。見えていることが変更の見込みを大きく下げていた
- 新しい情報を与えていない条件でも、初回回答が見えていると確信度は上がる（回帰での効果は +0.22）
- 固着させていたのは回答の内容ではなく「それが自分の回答である」という帰属だった。まったく同じ回答を「別のAIの回答」として見せると、固着は消えた
- 反対方向の助言は、手元の情報から計算される理想的な更新量の2.17倍で効く。支持方向は1.29倍にとどまる
- したがって自己点検は自己追認に、反論提示は過剰反応に傾く。どちらの手順も、中立ではない
- 運用で変えられるのは、助言の内容より提示の条件である。自分の草案を見せるかどうかが、変更率を二倍以上動かしていた
「もう一度確認して」が効かなくなる条件
実験の骨格は単純です。モデルに質問して答えさせ、そのうえで助言役の意見を添えてもう一度答えさせる。このとき2つを操作します。
- 初回回答を見せるか、隠すか（Answer Shown / Answer Hidden）
- 助言が中立か、支持か、反対か（Neutral / Same / Opposite）
助言役のAIは実在しません。その回答と正確性は、実験条件として固定された作り物です。会話履歴も持たず、各問題は独立に処理されます。
中立の助言を添えた条件、つまり新しい判断材料を何も渡していない条件で、結果はこうなりました。
表が収まらない場合は、横にスクロールできます
| 条件 | 回答を変えた割合 |
|---|---|
| 初回回答が見えている | 13.1% |
| 初回回答を隠している | 34.0% |
同じモデル、同じ問題、同じ助言です。違うのは自分の初回回答が画面に残っているかどうかだけで、変更率は2倍以上に開きました。論文は、初回回答の可視性が回答変更の見込み（オッズ）を71%下げることと関連していたと報告しています。
さらに、同じ比較で確信度は上がります。 回帰分析では、初回回答が見えていることが確信度スコアを +0.22 押し上げる効果として出ました。新しい情報はゼロなのに、確信は増える。これを論文は選択支持バイアス（choice-supportive bias、自分が選んだ選択肢を事後的に高く評価する偏り）の現れだと述べています。
実務の手順に引き直すと、こうなります。「さっきの出力を見ながら、もう一度確認して」という指示は、確認の手続きの形をした自己追認になりやすい。 しかも出てくるのは「確認しました、問題ありません」という、より自信のある文面です。点検した痕跡は残り、点検の効果は落ちています。
この手順が疑われにくいのには理由があります。私たちは手順の良さを、残った成果物で判断しているからです。 人間のレビューでも、確認した旨の記録が残っていれば確認は行われたものとして扱います。再考の指示は記録を生み、しかもその記録は前より自信のある語調で返ってきます。成果物の見た目は、点検が効いた場合と効かなかった場合で区別がつきません。効いていないことが、効いているときと同じ形で報告される手順は、放っておくと検出されません。
固着させていたのは内容ではなく「自分の回答だ」という帰属
ここが、この研究のいちばん強い部分です。
固着の原因としてまず疑われるのは、画面に文字列が残っていること自体です。目の前にある選択肢に引っ張られる、いわゆる足場としての効果です。これを切り分けるために、著者はまったく同じ回答を「別のAI（パラメータ数が同程度の別のモデル）の回答」として提示する条件を作りました。
結果は、固着の消失でした。
表が収まらない場合は、横にスクロールできます
| 同じ回答を「別のAIの回答」として提示 | 回答を変えた割合 |
|---|---|
| 隠している | 31.3% |
| 見せている | 33.2% |
有意な差はありません。論文は「初回回答が別のAIに帰属されたとき、バイアスは完全に消えた」と述べ、これは単なる足場の効果ではなく自己一貫性への駆動だと解釈しています。
もう1つの統制も効いています。架空の都市を使い、判断に必要な情報をすべてその場の文脈に与えた条件でも、固着は残りました（見せた場合17.2%、隠した場合33.2%）。「学習済みの知識より目の前の文脈を優先するから動かないのだ」という説明も、これで外れます。
この2つの統制が意味するのは、運用側のレバーの位置です。確かめられているのは、別のAIの回答として提示したときに固着が消えたという1点です。そこから逆に考えると、固着を解く鍵は文字列を短くすることではなく、その出力を「自分の答え」として扱わせないことの側にありそうだと言えます。
ただし、ここは推測の範囲を明示しておきます。要約して渡した場合・言い換えて渡した場合は実験されていません。 「短くすれば薄まる」も「要約でも残る」も、この研究からは出てきません。言えるのは、帰属を変えた条件でだけ固着が消えたということです。
「反対意見も検討して」は、逆方向に振れすぎる
では反論を当てればよいのか。こちらは逆の問題が出ます。
著者は、助言を受けたあとの確信度の変化を、手元の情報から確率を計算し直したときの理想的な更新量（ベイズ更新）と比べました。理想どおりなら比は1.0です。
表が収まらない場合は、横にスクロールできます
| 助言の向き | 理想的な更新量に対する比 |
|---|---|
| 反対方向 | 2.17倍 |
| 支持方向 | 1.29倍 |
反対情報には2倍を超えて反応し、支持情報にはほぼ素直。非対称です。 しかもこの比較は、選択支持バイアスの影響を除くために初回回答を隠した条件同士で行われています。固着とは別の仕組みが、別の方向に働いているということです。
振れ方の急さも測られています。確信度と回答変更率のあいだには全体として負の関係があり（決定係数0.55、係数 −0.37）、自信が高いほど変えにくい。ところが反対助言を当てた条件では、ある確信度を境に崖のように落ちます。
そして閾値の位置が、助言の質とずれています。回答変更率が50%を下回る確信度の水準は、助言の正確性が50%・60%・70%のときに、それぞれ 0.77・0.92・0.96 でした。正確性50%の助言は、当たるか外れるかが半々、つまり情報として何も含んでいません。 それでも確信度0.77を下回っていれば、モデルは回答を変える側に回っていました。
自信過剰と自信不足が、同じモデルに同居する
2つの仕組みが逆向きに働くと、何が起きるか。条件によって符号が変わります。
論文は、理想的なベイズ観察者を基準に、過剰と不足の度合いを指標化しています（正解率そのものの指標ではなく、理想との差です）。
表が収まらない場合は、横にスクロールできます
| 条件 | 過剰／不足 |
|---|---|
| 初回回答を見せる＋中立の助言 | +0.210（過剰） |
| 初回回答を見せる＋支持の助言 | +0.09 |
| 初回回答を隠す＋支持の助言 | +0.051 |
| 初回回答を隠す＋反対の助言 | −0.30（不足） |
同じモデルが、提示条件を変えるだけで +0.210 から −0.30 まで動きます。「このモデルは自信過剰だ」という評価は、どの条件で測ったかを言わなければ内容を持ちません。
この2つの傾向は、検証された6モデルのすべてで観測されました。中立の助言条件での見せる／隠すの差は14〜25パーセントポイントの幅、反対情報の過大評価の比は1.5〜3.4倍の幅があります。興味深いのは、反対情報への過敏さが弱いモデルでは、逆に支持情報を過小に扱っていた例があることです（あるモデルで反対1.5倍に対し支持0.56倍）。釣り合いの取れた点がモデルごとに違う、という読み方になります。1モデルの例なので、法則として扱うことはできません。
会話形式で複数回やりとりする設定でも、固着の大きさはほぼ同じでした（変更率の差は本実験13.3%に対し12.2%、確信度の差は0.21に対し0.19）。対話にすれば薄まる、という逃げ道はここでは見つかりません。
これは「おもねり」でも「確証バイアス」でもない
近い言葉が2つあるので、区別しておきます。社内で説明するときに、ここを混ぜると結論が変わります。
おもねり（迎合）との違い。 著者は「単純なおもねりより込み入ったパターンだ」と述べています。おもねりは、賛成も反対も対称に重く扱う現象として特徴づけられます。観測されたのは反対側だけを過大に扱う非対称な感度で、加えて自分の回答が見えていると確信度が上がって変更しにくくなる所見も、純粋な迎合では説明できないとされています。ただし無関係だとは書かれていません。 同じ論文は、反対情報への過敏さの説明候補として、人間のフィードバックを使った学習に由来する迎合を挙げています。正確に言えば「全体のパターンは単純なおもねりでは説明できない」であり、原因として確定したものはありません。
確証バイアスとの違い。 こちらは、この実験条件下では否定されています。 自信過剰は選択支持バイアスで説明され、支持情報を過大に重みづけたためではない——支持方向の助言の重みは1.29倍で、過大評価は認められませんでした。「AIは自分の仮説に合う情報ばかり重く見る」という言い方は、少なくともこの研究からは出てきません。著者自身、別の条件で確証バイアスが現れるかは未解決だと留保しています。
人間との向きの違いも記録されています。 人間は外部の助言を自分の判断より軽く扱う傾向（自己中心的な助言の割引）が知られている一方、ここでのモデルは反対助言を理想より重く扱いました。符号が逆です。 人間の側の知見はこの論文の実験ではなく先行研究の引用ですが、「人のレビューと同じ感覚でAIに反論を当てる」という運用の前提は、少なくとも一度疑う必要があります。
自信の強さを能力の指標として読んでしまう構図そのものについては、自信の強さは、その人の能力ではなく「場の見えなさ」を測っているのかもしれないとその自信は、正しさよりも「そのとき基準がどこにあったか」を映しているかもしれないで扱っています。モデルが賢くなるほど人間的な偏りを帯びるという論点はAIは賢くなるほど「人間らしいバイアス」を強める、説明を足せば判断が良くなるのかという問いは「説明できるAI」は判断を良くするのかにあります。
確かなことと、まだ確かではないこと
確かなこと： 中立の助言条件で、初回回答の可視性が回答変更率を13.1%と34.0%に分けたこと。同じ比較で確信度が +0.22 上がったこと。同じ回答を別のAIに帰属させると固着が消えたこと（31.3%と33.2%、有意差なし）。反対助言が理想的な更新量の2.17倍、支持助言が1.29倍で効いたこと。過剰／不足の指標が条件によって +0.210 から −0.30 まで動いたこと。6モデルすべてで両方の傾向が観測されたこと。会話形式でも固着の大きさがほぼ変わらなかったこと。
まだ確かではないこと： 自由記述の出力や実務の作業で同じことが起きるか。論文は、より自然な利用者とのやりとりで自由記述の回答を扱う場合に同じ説明が成り立つかを今後の課題としています。したがって本記事も、構造の転用までにとどめ、係数は転用しません。主要な分析が特定の1モデルと二択課題に依存していること、助言役が架空であること、主実験が会話履歴を持たない設定であることも、読むときの条件です。原因の特定（学習手法に由来するのかどうか）も、論文は候補を挙げるにとどめています。
数値の読み方にも1つ条件があります。課題は正解率が一定の範囲に収まるよう難易度が調整されており、選択肢も人工的に作られています。モデルの正解率の高低を能力の比較として読むことはできません。
検証手順を、確信度に依存しない形に組み替える
ここからは本記事の判断です。論文はこう設計せよとは書いていません。
1. 自己点検は、草案を隠して実行する。 同じモデルに同じ問いを投げ直すなら、前の出力を文脈に残さない。別セッションで独立に答えさせ、2つの出力を人が突き合わせるほうが、変更率の差を利用できます。要約して渡せば済むかどうかは実験されていないので、短くするより渡さない側に寄せます。
2. 反論は「当てる」より「並べる」。 反対意見を後から当てると、過剰に振れます。最初から賛否両方の材料を同じ重みで提示し、どちらを採るかを書かせる。順番を作らないことが、非対称の影響を小さくする方向に働きます。
3. 確信度は採否の基準に使わない。 条件で符号が変わる量なので、閾値を置いても意味が安定しません。使うなら同一条件内の相対比較（同じ提示の仕方で100件流し、低いものから見る）に限ります。
4. 多段の作業では、途中の自己評価を通過条件にしない。 自分の中間出力を見ながら「問題なし」と判断させる構造は、この研究が示した固着がもっとも効く形です。通過判定は、出力を生成した側ではないところに置きます。
自社の手順で固着を測る最小の実験
転用できないのは係数で、測り方は転用できます。自社の業務で同じ差が出るかは、1日で測れます。
- 分母： 同じ業務の依頼1件（例：問い合わせへの回答案を1件作る）
- 分子： 2回目の出力が1回目から実質的に変わった件数
- 単位： 変更率（％）
手順は4つです。
- 業務を1つ選び、20件用意する。 1回目の出力を全件保存します
- 各件を2通りで再実行する。 (A) 1回目の出力を文脈に入れて「確認して」、(B) 1回目の出力を入れずに同じ問いをもう一度
- 変更率を2つ数える。 「実質的に変わった」の判定基準を先に書いておきます（結論が変わった／数値が変わった、など1回見れば判定できるもの）
- 変更があった件について、どちらが正しかったかを人が判定する。 変更率の差が大きく、かつ(B)の変更が改善方向に偏るなら、自己点検の手順は組み替える価値があります
20件で差が見えなければ件数を増やしますが、最初に見るべきは水準ではなく(A)と(B)の差です。差がゼロに近いなら、自社の課題では固着が効いていないことになります。それも結果として使えます。
判断の土台として押さえておくこと
- 確信度はモデルの正しさの程度ではなく、提示条件に依存して動く量である。条件を言わずに「自信がある」を根拠にできない
- 自己点検は、自分の答えが見えている状態では自己追認に傾く。変更率が13.1%と34.0%に分かれた差が、その大きさの目安になる
- 固着の原因は文字列の存在ではなく「自分の答えだ」という帰属である。言い換えや要約では解けない
- 反論提示は逆方向に効きすぎる。情報量がゼロの助言でも、確信度が低ければ回答は動く
- 自信過剰と自信不足は同じモデルに同居する。どちらが出るかは、こちらの手順が決めている
- 「おもねり」「確証バイアス」という言葉で片付けると、打つ手を間違える。観測されたのは非対称な感度であり、確証バイアスはこの条件下では否定されている
- 転用できるのは構造であり、係数ではない。自社の課題での差は、自社で測るしかない
参考資料・引用元
- Dharshan Kumaran, Stephen M. Fleming, ほか, "Competing Biases underlie Overconfidence and Underconfidence in LLMs", Nature Machine Intelligence, 第8巻 614–627頁（Published: 22 April 2026, Open access）. https://www.nature.com/articles/s42256-026-01217-9 （2026年10月17日確認・HTTP 200）