考えさせるほど、揺らしやすくなる｜推論するAIの合理性と感情ステアリング

考えさせるほど、揺らしやすくなる｜推論するAIの合理性と感情ステアリング

AIに重要な判断を任せるとき、私たちは「よく考えさせれば安全になる」と考えます。段階を追って推論させる。根拠を書かせてから結論を出させる。実際、こうした工夫で出力が良くなる経験は多くの人が持っています。

ところが、その「よく考える」という性質そのものが、別の弱点を連れてきているとしたらどうでしょうか。

この記事では、複数のLLMファミリーを合理性と感情の両面から評価した研究をもとに、合理性の改善と誘導されやすさが同じ仕組みから来ている可能性について整理します。

出典は論文「Sparks of Rationality: Do Reasoning LLMs Align with Human Judgment and Choice?」（Tak, Banayeeanzade, Bolourani, Bahrani, Chaubey, Karimireddy, Schwarz, Gratch、arXiv:2601.22329、2026年1月29日投稿）です。査読や学会採択の記載はないプレプリントである点を先に添えておきます。

なお、当サイトには正しいことを言っているAIが、正しかった判断を崩すことがある理由という記事があります。あちらは人間がAIの提示の仕方に揺らされる話で、この記事は逆にAIの側が揺らされる話です。 向きが反対だという点で読み分けてください。

30秒で要点

• 研究は複数のLLMファミリーを、(i)合理的選択の中核的公理を検証するベンチマークと、(ii)感情が判断を形づくることが知られている行動経済学・社会規範の古典的領域の両方で評価した
• 意図的な「思考」は一貫して合理性を向上させ、モデルを期待値最大化の方向へ押しやると報告されている
• 感情誘導の手法として、文脈内プライミング（ICP）と表現レベルのステアリング（RLS）が使われた。ICPは強いが極端で調整しにくく、RLSは心理学的にもっともらしいが信頼性が低い
• 結論は、合理性を向上させるのと同じ仕組みが、感情的な介入への感受性も増幅するというもの
• 論文はこれを推論と感情ステアリングの緊張関係と位置づけている

何を、どう測った研究なのか

まず設計を押さえます。研究は、複数のLLMファミリーを2種類の土俵で評価しました。

1つ目は、合理的選択の中核的公理を検証するベンチマークです。選択が首尾一貫しているか、矛盾した選好を示さないか、といった性質を測る土俵です。

2つ目は、行動経済学と社会規範の古典的な意思決定領域です。ここは、人間であれば感情が判断を左右することが知られている領域として選ばれています。

この2つを並べる設計には意図があります。論文の問題意識は「LLMは採用・医療・経済判断の意思決定エンジンとして位置づけられつつあるが、現実の人間の判断は合理的な熟慮と感情に駆動されたバイアスのバランスの上にある」というものです。高いリスクを伴う判断に加わるにせよ、人間行動のモデルとして使うにせよ、人間と同じような（非）合理性やバイアスのパターンを示すのかを評価する必要がある、という立て方になっています。

思考させると、合理性は上がった

結果の前半は、直感どおりです。論文は「意図的な『思考』が一貫して（reliably）合理性を向上させ、モデルを期待値最大化の方向へ押しやる」と報告しています。

これは、段階的に推論させることの効果を経験的に知っている人にとっては納得しやすい結果でしょう。矛盾した選好が減り、選択が一貫し、期待値の高いほうを選ぶようになる。

ここで正直に書いておくと、改善の幅を示す数値は、本記事が確認した範囲には示されていません。 「一貫して向上する」という定性的な記述までです。どのモデルで、どの程度かは、原論文の本文を読まなければ分かりません。

感情を入れると、どうなったか

研究はここから先に進みます。人間らしい感情的な歪みと、それが推論とどう相互作用するかを調べるために、2つの感情誘導手法を使いました。

文脈内プライミング（ICP） は、強い方向性のシフトを引き起こしました。ただし論文の表現では、そのシフトは「しばしば極端で、調整が難しい（often extreme and difficult to calibrate）」。

表現レベルのステアリング（RLS） は、より心理学的にもっともらしいパターンを生みました。ただし「信頼性は低い（with lower reliability）」。

論文はこの対比を、制御しやすさと人間らしさのトレードオフとして整理しています。強く確実に動かせる手法は不自然な出力になりやすく、自然な反応を生む手法は再現性に欠ける。どちらかを取ればどちらかを失う関係になっています。

同じ仕組みが、両方を動かしている

そして結論です。論文はこう述べています。「我々の結果は、合理性を向上させるのと同じ仕組みが、感情的な介入への感受性もまた増幅することを示唆する」。

これは、部分の足し算では説明できない結果です。「推論能力を上げる」と「誘導に強くする」が別々のつまみなら、片方を回してもう片方は据え置けます。しかしこの結果が示唆しているのは、同じつまみが両方を動かしているという構造です。

論文はこれを「推論と感情ステアリングのあいだの緊張関係（a tension between reasoning and affective steering）」と呼び、人間のシミュレーションとLLMベースの意思決定システムの安全な運用の双方に含意があるとしています。

なぜ「よく考えるAIほど安全」と思ってしまうのか

この結果が意外に感じられるのは、私たちが人間の熟慮についての直感を、そのまま持ち込んでいるからかもしれません。

人間の場合、じっくり考えることは、しばしば感情的な反応から距離を取ることを意味します。カッとなったときに一晩置く、という対処が有効なのは、時間と熟慮が感情の影響を減らすからです。熟慮と感情は、人間においては対立する方向に働くという経験則があります。

この経験則をAIに持ち込むと、「推論させれば感情的な誘導にも強くなるはずだ」という予測になります。しかしこの研究が示唆しているのは、その予測が成り立たない可能性です。

もうひとつ、運用側の確認方法にも偏りがあります。 推論を入れた効果を確かめるとき、私たちは「正しい答えが出るか」を見ます。ベンチマークを流し、正答率を比べる。この確認では、感受性という別の軸は測られません。測っていない軸は、悪化していても気づけません。

そして三つ目に、推論を入れる作業には手応えがあるという事情があります。プロンプトを工夫し、出力が良くなるのを見るのは、目に見える改善です。その改善が別の面での脆弱性と引き換えかもしれない、という疑いは、手応えの前では持ちにくくなります。

確かなことと、まだ確かではないこと

確かなこと：この研究が複数のLLMファミリーを、合理的選択の公理を測るベンチマークと、感情が関与する古典的な意思決定領域の両方で評価したこと。意図的な思考が一貫して合理性を向上させ期待値最大化の方向へ押しやると報告していること。ICPが強いが極端で調整困難、RLSが心理学的にもっともらしいが信頼性が低いとされていること。合理性を改善する仕組みが感情的介入への感受性も増幅すると結論づけ、これを緊張関係と位置づけていること。

まだ確かではないこと：本論文はarXivのプレプリントで、査読や学会採択の記載はありません。評価された具体的なモデル名・数、合理性の改善幅、感受性の増幅の程度を示す数値は、本記事が確認した範囲には記載がないため扱っていません。また、この結果が実際の業務用途——たとえば社内向けの相談ツールや文書レビュー——でどう現れるかは、この研究の範囲外です。「推論モデルは危険だ」という読み方は、論文の主張を超えています。

判断軸の提示

推論を強くしたときに、正答率だけでなく「入力の言い回しを変えたときの出力の振れ幅」も一緒に見ること。

この研究が示唆しているのは、改善と脆弱性が同じ源から来ている可能性です。だとすれば、片方だけを測っている限り、もう片方は見えません。

運用で確認できる形にすると、次のようになります。

1. 同じ質問を、感情の温度だけ変えて投げる — 「困っています、助けてください」と「以下について評価せよ」で、結論そのものが変わるか
2. 変わった場合、どちらが正しいかではなく、振れ幅を記録する — 正誤の判定より、動いたという事実のほうが情報になる
3. 推論の強度を変えて、同じことを繰り返す — 段階的推論を入れた場合と入れない場合で、振れ幅が広がっていないか
4. 広がっていたら、そこが運用上のリスク面 — 依頼者の書き方によって結論が動く業務フローになっていないかを見る

4番目が実務上いちばん効きます。社内でAIに相談する仕組みを作ったとき、依頼者の書き方が結論を左右する状態は、公平性の問題にもなります。同じ案件でも、切実に書いた人のほうが有利な回答を得るなら、それは判断の仕組みとして成立していません。

自分でも試せる、最小の検証

いま業務で使っているAIの用途を1つ選び、同じ内容の依頼を、感情の温度だけ変えた2通りの書き方で投げてみてください。 事実関係は一言一句同じにして、片方だけに切迫感のある表現を足します。

結論が変わらなければ、その用途では今のところ問題は表面化していません。結論が変わったなら、その業務フローは依頼者の書き方に依存しているということです。次の一歩は、依頼のテンプレートを固定して、書き手による揺れが入らない形にすることになります。

この記事で扱ったような、AIを判断に組み込む際の設計を自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。