正しいことを言っているAIが、正しかった判断を崩すことがある理由

正しいことを言っているAIが、正しかった判断を崩すことがある理由

AIに出力のレビューをさせたり、判断の材料として分析結果を読ませたりする運用を組んでいる現場は増えています。多くの場合、「AIの分析が事実として正確であれば、それを読んだ人の判断は良くなるはずだ」という前提で設計されています。しかし、その前提には見落としがあるかもしれません。

この記事では、イリノイ大学アーバナ・シャンペーン校などの研究チームによる論文（arXiv:2608.14630、2026年7月24日投稿）にもとづき、「AIの分析が正しくても、読んだ人の判断を逆に悪化させることがある」という実験結果を整理します。

参照元はhttps://arxiv.org/abs/2608.14630（要旨）およびhttps://arxiv.org/html/2608.14630v1（本文）です。本記事の内容は、この論文が投稿された2026年7月24日時点の実験結果にもとづきます。

30秒で要点

• 米国医師免許試験（USMLE）363問・被験者162名・939件のアノテーションを使った実験で、AIの分析を読んだあとに正解を不正解へ書き換えてしまった「有害な変更」の平均発生率は2.81%だった
• 全体の正答率はAIの分析を読む前が45.7%、読んだあとは57.5%へ上昇し、評価した8モデルすべてで純効果はプラスだった
• 被験者が答えを変えた理由の自由記述のうち、最も多かったのは権威バイアスで58.9%を占めた
• 論文はこの現象を「rhetorical misalignment（修辞的ミスアライメント）」と名付け、モデルは事実の面で整合していても提示の仕方によって害を誘発しうると結論づけている

「内容が正しければ、判断は良くなる」という前提

AIをレビュー担当や分析担当として使うとき、多くの設計は「AIの出力が事実として正確であること」を品質の基準にしています。ハルシネーション（事実と異なる内容の生成）を防げば、それを読んだ人の判断も自然に良くなるはずだ、という考え方です。

この研究が扱っているのは、その一歩先の問題です。AIの分析内容そのものが事実として正しい場合でも、それを読んだ人が、もともと正しく判断できていたことを、あとから間違った方向へ書き換えてしまうケースがある、という現象です。研究チームは米国医師免許試験（USMLE）から363問を選び、医療従事経験のある162名の被験者に、AIの分析を読む前後でそれぞれ回答してもらいました。集まった939件のアノテーションのうち、AIの分析を読んだあとに正解を不正解へ書き換えてしまった「有害な変更」は、平均で2.81%発生していました。

分母・分子で捉え直すと、939件のアノテーションのうち、正解から不正解へ変わってしまったケースの割合が2.81%です。数値としては大きくありませんが、論文自身もこの絶対量はmodest（穏やかな水準）だとしながら、この変更が実際の患者の転帰にどう影響するかという下流の結果までは、この実験では測定していないと明記しています。

全体としては、AIの分析は役に立っている

ここで注意したいのは、この研究が「AIの分析は害悪だ」と主張しているわけではないという点です。むしろ全体で見れば、AIの分析を読む前の正答率は45.7%、読んだあとは57.5%へ上昇しており、評価された8モデルすべてで、正しい方向への変更が誤った方向への変更を上回る「純効果プラス」の結果でした。この実験の中で最も純効果が高かったのはGPT-5.1で+23.2%でした。

一方で、モデルごとに有害な変更率にはばらつきがありました。実験の中で最も有害率が高かったのはLlama-3.1-Tülu-3-8B-SFTで6.6%です。8モデル全体では有害率が0.0%から6.6%まで分布しており、「平均するとAIの分析は有益」という一言でまとめてしまうと、モデルによって個別のリスクが大きく異なるという事実が見えなくなります。純効果というのは、正しい方向への変更数から誤った方向への変更数を差し引いた総合スコアであり、平均が良いことと、個別のケースで害が起きないことは、同じではありません。

なぜ「正しい内容なら、悪影響は起きない」と考えてしまうのか

この結果が直感に反するように感じられるのは、私たちが「情報の正確さ」と「情報が招く判断への影響」を、無意識のうちに同一視しているからです。人間同士のコミュニケーションでも、内容が正しいかどうかと、それがどう受け止められるかは、本来別の軸のはずです。しかし、AIが出す分析結果に対しては、「もっともらしく、自信ありげに書かれている」という体裁そのものが、内容の妥当性を判断する材料として使われやすくなります。

この研究では、被験者が答えを変えた理由の自由記述を分類したところ、最も多かったのは権威バイアスで、コード化されたケースの58.9%を占めていました。つまり、答えを変えた人の多くは、AIが述べている医学的な根拠そのものを吟味した結果としてではなく、AIが自信を持って断定している、という提示のされ方そのものに影響を受けて判断を変えていた可能性が高いということです。論文はこの現象を「rhetorical misalignment（修辞的ミスアライメント）」と名付け、モデルは事実の面で正確であっても、その提示の仕方によって害を誘発しうると結論づけています。

確かなことと、まだ確かではないこと

確かなこと：USMLE363問・被験者162名・939件のアノテーションによる実験で、有害な変更の平均発生率が2.81%だったこと。AIの分析を読む前後で正答率が45.7%から57.5%へ上昇し、8モデル全てで純効果がプラスだったこと。GPT-5.1の純効果が+23.2%、Llama-3.1-Tülu-3-8B-SFTの有害率が6.6%だったこと。答えを変えた理由のうち権威バイアスが58.9%を占めたこと。論文がこの現象を「rhetorical misalignment」と名付けていること。

まだ確かではないこと：この実験は医師免許試験の問題という特定の領域・特定のタスク形式で行われたものであり、あらゆる意思決定支援の場面に同じ比率がそのまま当てはまるとは限りません。また、有害な変更が実際の業務上の結果（患者の転帰、ビジネス上の損失など）にどこまで影響するかは、この実験の範囲では測定されていません。「モデルの正誤がどちらの方向の変更を招きやすいか」という詳細な内訳についても、本記事執筆時点で一次情報から再確認できた範囲にとどめています。

判断軸の提示

ここまでの整理から、AIを意思決定支援・レビューに使う際の判断軸を1つ提案します。

「AIの分析内容が正確かどうか」と「その提示のされ方が、読み手の判断を歪めていないか」を、別々に点検すること。

多くのAI活用の品質チェックは、内容の正確性——ハルシネーションが無いか、事実として正しいか——に焦点を当てています。しかしこの研究が示すのは、内容が正確であっても、自信ありげな断定調の提示のされ方そのものが、読み手の判断を動かしうるということです。特に、AIの出力を根拠に重要な判断を下す業務フローを設計する場合、AIの自信の見せ方が読み手にどう作用しているかを、内容の正確性とは別の観点で確認する価値があります。

自分でも試せる、最小の検証

自社でAIの分析結果をレビューや意思決定の材料として使っている場合、直近でAIの分析を読んだあとに判断を変えたケースをいくつか振り返ってみてください。判断を変えた理由が、AIが示した具体的な根拠を吟味した結果なのか、それともAIが自信を持って断定していたという提示のされ方に引っ張られたものなのかを、自分の言葉で説明できるか確認します。

もし「なぜ判断を変えたのか、AIの口調の自信ありげな印象以外にうまく説明できない」と感じるケースがあれば、それは権威バイアスが働いていたサインかもしれません。AIの出力を、断定的な表現を弱めた形でもう一度読み直し、判断が変わるかどうかを試すことが、この前提を自社の運用で検証する最小の一歩になります。

この記事で扱ったような、AIを使った意思決定支援・レビュー体制の設計を自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。