AIの説明は「正しさ」より「もっともらしさ」で信頼される——205人の実験

AIの説明は「正しさ」より「もっともらしさ」で信頼される——205人の実験

AIに判断や推奨の理由を尋ねると、たいてい筋の通った説明が返ってきます。「このデータの傾向から」「過去の類似ケースと比較すると」——読んでいて、なるほどと思う。

その「なるほど」は、説明が正しいことの証拠でしょうか。それとも、単に説明の語り口がうまいだけでしょうか。

この記事では、この2つを混同すると何が起きるかを、205人を対象にした実験を手がかりに考えます。

出典はarXiv:2602.04003「When AI Persuades: Adversarial Explanation Attacks on Human Trust in AI-Assisted Decision Making」です。2026年2月に提出され、5月に改訂版が公開されています。

30秒で要点

• 論文（arXiv:2602.04003）は205人の参加者を対象に、AIの説明の「推論様式・根拠の種類・伝達スタイル・提示形式」という4つの見せ方を体系的に変える実験を行った
• 結果、実際には誤っている（adversarial）説明に対しても、参加者は正しい（benign）説明とほぼ同水準の信頼を示した
• 誤った説明は、正しい説明が得ていた信頼の大部分を維持していたと報告されている
• 信頼の較正のズレを示す具体的な数値、4次元それぞれの効果の強弱は、今回確認できた範囲では未確認
• 説明の読み心地から正誤を見分けるのは難しい。見分ける手がかりは説明の外側に置く必要がある

なぜ「なるほど」で判断してしまうのか

まず、実験の作りを確認しておきます。研究チームは、米国の大学とAmazon Mechanical Turk経由で205人の参加者を集めました。参加率や過去の実績で一定の基準を満たした人だけが対象で、平均所要時間は45分です。

参加者に見せたのは、AIが下した判断とその説明です。ここで研究チームは、説明の中身が正しいかどうかとは別に、説明の見せ方を4つの軸で操作しました。どんな理由づけの形式か（推論様式）、どんな種類の根拠を示すか（根拠の種類）、どんな話し方で伝えるか（伝達スタイル）、どんな体裁で提示するか（提示形式)。この4つを組み合わせることで、「内容の正しさ」と「見せ方のもっともらしさ」を、実験の中で切り離せるようにしています。

そして、意図的に誤った説明（adversarial）を、もっともらしく見せる形で用意しました。中身は誤っているが、語り口や体裁は正しい説明と遜色ない、という条件です。

この設計そのものが、1つの仮説を含んでいます。人は、説明の中身を独立に検証するのではなく、説明の見せ方から「信頼してよさそうか」を判断しているのではないか。この仮説を検証するための実験です。

結果が示したこと

論文は、実際には誤っている説明に対しても、参加者が正しい説明とほぼ同水準の信頼を示したと報告しています。誤った説明は、正しい説明が得ていた信頼の大部分を維持していた、とされています。

つまり、参加者は「この説明は正しいか」をほとんど見分けられていません。見分けられなかったのではなく、見分ける必要を感じなかった、と言った方が近いかもしれません。筋が通って聞こえる時点で、検証の動機が下がってしまうからです。

ここで、書いてよいことと書けないことを分けておきます。論文は、信頼の較正のズレ(trust miscalibration gap)という指標を提案していますが、その具体的な大きさは今回確認できたアブストラクトの範囲では明記されていません。数値を使う場合は本文の該当箇所を追加で確認する必要があり、本記事ではその数値には触れません。同様に、4つの見せ方のうちどれが最も効いたかという内訳も、今回は未確認です。確認できているのは、「adversarialとbenignの間で、信頼にほぼ差がなかった」という結果そのものです。

この結果と混同しやすいもの

ここで1つ、整理しておく価値のある違いがあります。「説明が読みやすい・わかりやすいと感じる」という感覚と、「説明が正しいと信じる」という判断は、近い場所にありますが同じ現象ではありません。

前者は、情報をどれだけ楽に処理できたかという感覚の話です。後者は、その情報の内容が事実と一致しているかという、対象の性質の話です。今回の実験が示したのは後者です。中身が誤っている説明が、中身が正しい説明とほぼ同じだけ信頼された、という結果であり、「読みやすい説明は理解したと錯覚しやすい」という別の話（流暢性の錯覚として整理した論点）とは、扱っている変数が異なります。

隣接した話を1つの現象として扱うと、対策も的外れになります。今回の実験の対策は「説明を読みやすくしすぎない」ことではなく、「説明の見せ方以外の場所で正しさを確認する」ことだからです。

なぜ検証を後回しにしてしまうのか

なぜ人は、説明の中身を検証せずに信頼を決めてしまうのでしょうか。

まず、検証にはコストがかかります。AIが示した根拠のデータソースを自分で辿り直す、計算を再現する、前提を洗い出す——どれも時間と手間がかかる作業です。それに対して、「筋が通っているかどうか」を感覚的に判定するのは一瞬でできます。コストの低い判断材料が手元にあるとき、人はコストの高い検証を後回しにしがちです。

次に、AIの説明は人間の説明よりも整った形で出てくることが多く、整った形式そのものが「検証済みらしさ」の印象を強めます。箇条書きで根拠が並び、数値や固有名詞が添えられていれば、それだけで「調べた上での結論だ」という印象が生まれます。しかし、形式が整っていることと、根拠が事実として正しいことは、別の話です。

そして、この実験の設計自体が示すように、もっともらしく見える誤りは、意図的に作ることができます。AIの説明が誤っている場合、それは常に「稚拙で見破りやすい誤り」とは限りません。研究チームが用意したadversarial説明は、まさに見破りにくい誤りを目指して設計されたものです。

この罠が特に効きやすい場面

AIを意思決定支援として使う場面のすべてで、同じ強さでこの罠が効くわけではありません。効きやすい場面には共通点があります。検証に手間がかかる一方で、結論を急ぐ理由がある場面です。

たとえば、競合分析のレポートをAIに作らせ、そこに「市場シェアの推移からこの傾向が読み取れる」という説明が添えられているとします。数値の出典を1つずつ遡って確認するのは面倒で、会議の時間も迫っている。説明が整っていて、社内の肌感覚とも大きく矛盾しない——この条件がそろうと、検証の動機はさらに下がります。逆に言えば、時間の余裕があり、結論の影響が小さい場面では、この罠はさほど怖くありません。問題になるのは、影響が大きく、かつ検証コストも高い判断です。

もう1つの特徴は、説明の対象がその人の専門外であるほど、見せ方への依存が強まることです。自分の専門領域であれば、AIの説明に含まれる粗を経験則で見抜けることがあります。専門外の領域では、その経験則そのものがないため、説明の語り口の丁寧さや、根拠が並んでいる量といった表面的な特徴に頼らざるを得ません。今回の実験も、参加者が必ずしもその判断領域の専門家ではない設定で行われています。専門外の判断ほど、外部の情報源で1点を確認する手順の価値が上がるということでもあります。

判断軸の提示

AIの説明を評価するとき、「この説明はどれだけ筋が通っているか」ではなく、「この説明が指している事実を、AIの外側で1つ確認できるか」を基準にすること。

具体的には、次の順番で確認します。

1. 説明の中で、検証可能な事実(数値・固有名詞・日付・出典)を1つ選ぶ — 抽象的な理由づけではなく、確認できる具体を選ぶ
2. その事実を、AIとは無関係な情報源で確認する — 一次資料、社内データ、専門家への確認など
3. 一致しなければ、説明全体の信頼度を下げる — 1箇所の不一致は、他の部分にも同じ設計が及んでいる可能性を示すシグナルとして扱う
4. 一致しても、他の部分が正しいとは限らないと留保する — 1点の確認は部分的な裏付けであり、説明全体の保証にはならない

この手順の要点は、判断材料を説明の内部(見せ方)から、説明の外部(独立した事実)に移すことです。見せ方は操作できても、外部の事実と照合する作業までは操作できません。

確かなことと、まだ確かではないこと

確かなこと: arXiv:2602.04003という論文が、205人の参加者を対象に、AIの説明の見せ方を4次元で操作する実験を行ったこと。実際には誤っている説明に対しても、参加者が正しい説明とほぼ同水準の信頼を示したこと。誤った説明が、正しい説明への信頼の大部分を維持していたこと。

まだ確かではないこと: 信頼の較正のズレを示す具体的な数値。4つの見せ方それぞれが、結果にどれだけ強く効いたかという内訳。この実験がAmazon Mechanical Turkと米国の大学参加者という母集団を超えて、どこまで一般化できるか。実務のAI活用場面(専門知識を要する意思決定など)で同じ傾向が出るかどうかも、この論文単体からは判断できません。

自分でも試せる、最小の検証

直近でAIから受け取った説明を1つ選んでください。その説明の中から、検証可能な具体的な事実——数値、固有名詞、日付、引用元など——を1つだけ取り出します。

次に、その1点を、AIを使わずに確認します。社内資料、公式サイト、統計の一次資料など、AIの外側にある情報源にあたってください。

一致すれば、その説明は少なくとも1点で裏付けが取れたことになります。一致しなければ、その説明が「もっともらしいだけ」だった可能性を疑う番です。この確認を1回でも実際にやってみると、普段どれだけ説明の見せ方だけで判断していたかに気づきやすくなります。

この記事で扱ったような判断を、自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。