RLHFはAIを「人間らしくない」ものに変える？AIを人間の代理に使うリスクを考える

生成AIに「このターゲット層ならどう反応するか」「この価格ならどのくらい選ばれるか」と尋ね、実際の市場調査やユーザーテストの代わりに使う場面が増えています。回答は流暢で、もっともらしく、人間が答えたようにも読めます。しかし、ここで確認しておきたい問いがあります。「人間らしく振る舞えること」と「人間の実際の行動を予測できること」は、同じ能力なのでしょうか。

2026年5月に公開された研究は、この2つが別の能力である可能性を示しています。AIを人間の代理として使う前に、押さえておきたい前提を整理します。

30秒で要点

2026年5月、Marcel Binz氏ほか79名による研究が、Psych-201という人間の行動実験データセットを用いて、AIの回答が人間の実際の行動とどれだけ一致するかを検証した
RLHF（人間のフィードバックによる強化学習）などの「ポストトレーニング」（ベースモデルを使いやすいアシスタントに仕上げる工程）を経ると、人間の行動との一致度がモデルの系列・規模・学習目的を問わず一貫して低下すると報告されている
この乖離は新しいモデル世代ほど拡大しており、ベースモデル自体の性能は向上し続けているにもかかわらず、ポストトレーニング後の人間との一致度はむしろ悪化する傾向が見られた
参加者の情報を与えて回答させる「ペルソナ付与」という手法も、個人レベルでの予測精度は改善しなかったと報告されている

用語	意味
RLHF	Reinforcement Learning from Human Feedback（人間のフィードバックによる強化学習）の略。人間の評価をもとに、より好まれる応答を出すようAIを調整する手法
ポストトレーニング	事前学習を終えたベースモデルを、実際に使いやすいアシスタントへと仕上げる後段の調整工程。RLHFはその代表例
ペルソナ付与（persona-induction）	「30代・女性・都市部在住」のような参加者の属性情報をAIに与えたうえで回答させる手法
行動的整合性	AIの出力が、実際の人間の行動データとどれだけ一致しているかを測る指標

何が調べられたのか

研究チームは、Psych-201という新しいデータセットを構築しました。これは、人間を対象にした行動実験の自然言語による記録を大規模に集めたもので、既存の類似データセット（Psych-101）の3.5倍の規模を持ち、参加者の多様性や扱う実験パターンの幅も広げているとされています。

このデータセットを使い、さまざまなAIモデルの回答が、実際の人間の行動とどれだけ一致するかを検証しました。比較の軸となったのは、事前学習だけを終えた「ベースモデル」と、そこにRLHFなどのポストトレーニングを施した「アシスタントモデル」です。

報告された中心的な結果は、ポストトレーニングを経ると、モデルの系列・規模・学習目的を問わず、人間の行動との一致度が一貫して低下するというものでした。しかも、この乖離は新しいモデル世代ほど拡大しており、ベースモデル自体の性能（様々なタスクでの精度）は世代を追うごとに向上しているにもかかわらず、ポストトレーニング後のモデルが人間の行動からどれだけ離れているかという差は、むしろ広がっているとされています。

さらに研究チームは、AIに参加者の属性情報を与えて回答させる「ペルソナ付与」という手法も検証しました。この手法は、AIをより人間らしく振る舞わせる目的でよく使われますが、個人レベルでの予測精度（特定の1人の行動をどれだけ正確に言い当てられるか）は改善しなかったと報告されています。

「好かれるAI」と「予測できるAI」は別の能力である

この結果が示唆しているのは、AIを人間らしくするための調整と、AIが人間を正確に予測する能力が、必ずしも同じ方向を向いていないという構造です。

RLHFは、人間の評価者が「好ましい」「役に立つ」と感じる応答を強化する仕組みです。この過程で、AIは一貫して丁寧で、分かりやすく、極端さを避けた応答をするように調整されていきます。しかし現実の人間の行動は、必ずしも一貫していません。気分や文脈によってばらつき、非合理に見える選択をすることもあります。RLHFが磨き上げているのは「人間に好まれる受け答え」であり、「人間そのものの再現」ではない、と捉えると、両者が別の能力として分岐していくのは筋が通ります。

言い換えると、「AIが人間らしく感じられるかどうか」という私たちの印象と、「AIが人間の行動をどれだけ正確に予測できるか」という測定結果は、別のレイヤーにある問いです。前者はコミュニケーションの質の高さに支えられていますが、後者は行動データとの一致度という、もっと具体的で検証可能な指標です。

なぜこの区別が見落とされやすいのか

AIの回答が流暢で自然であるほど、私たちはその内容を「人間の意見に近いもの」として受け取りやすくなります。ここには、いくつかの心理的な要因が重なっていると考えられます。

まず、流暢さと正確さを無意識に結びつけてしまう傾向があります。文章が整っていて自然に読めるほど、その内容も信頼できるはずだという印象を持ちやすくなりますが、文章の質と、その内容が現実のデータと一致しているかどうかは、本来別の話です。

次に、RLHFによって調整されたAIの応答は、人間の評価者が「好ましい」と感じるように最適化されているため、私たち自身が読んでも違和感なく受け入れやすいという循環があります。人間に好まれるよう調整された文章が、人間である自分の直感にも馴染む、というのは当然の結果でもあります。しかし、この馴染みやすさは、AIの回答が実際の市場や実際のユーザーの反応をどれだけ正確に言い当てているかとは、独立した性質です。

さらに、市場調査やユーザーテストを人間の代わりにAIで済ませる動機は、コストと時間の節約という実務上の合理性から生まれます。この合理性の強さが、「本当に人間の代理として機能しているか」という検証のステップを省略させやすくします。

判断軸の提示：AIを人間の代理に使うときに問うべきこと

この研究の結果を踏まえると、生成AIを市場調査・ユーザーテスト・意思決定シミュレーションに使う場面では、次の視点を持っておくと判断がぶれにくくなります。

「AIの回答を最終判断に使うのか、たたき台として使うのか」を最初に切り分ける：仮説出しやアイデアの発散にAIを使うことと、実際の顧客の反応をAIの回答で代替することは、必要な検証の重みがまったく異なる
AIを人間の代理として使う場合は、実データとの照合を設計に組み込む：一部の対象者だけでも実際の調査を行い、AIの回答とのズレを定期的に確認する
「ペルソナを与えれば個人の代理になる」という前提を過信しない：この研究では、属性情報を与えても個人レベルの予測精度は改善しなかったと報告されている。集団の傾向を掴む用途と、特定の個人の代理として使う用途は分けて考える

確かなことと、まだ確立していないこと

確かなこと

2026年5月に公開された研究（Binzほか79名）は、Psych-201データセットを用い、RLHFなどのポストトレーニングを経たモデルが、ベースモデルと比べて人間の行動との一致度が一貫して低下することを報告している
同研究は、この乖離が新しいモデル世代ほど拡大していること、ペルソナ付与が個人レベルの予測精度を改善しなかったことも報告している

まだ確立していないこと

この研究は2026年8月時点でまだ査読を経ていないプレプリントであり、今後の査読プロセスで結論や数値が精緻化される可能性がある
「行動的整合性の低下」が、市場調査やユーザーテストといった具体的なビジネス用途でどの程度の実害（誤った意思決定など）につながるかは、この記事で参照した情報の範囲では検証されていない

自分の使い方でも試せる、最小の検証

大がかりな追試をしなくても、自分の使い方を点検できる最小の一歩があります。

現在AIを「顧客の代わり」「回答者の代わり」として使っている場面を1つ挙げてください。そのうえで、直近でその判断について、実際の人間（顧客・ユーザー・社内の対象者など）からのフィードバックと比較検証したことが一度でもあるかを振り返ってみてください。比較したことがない場合、それは「AIの回答をそのまま信じている」状態であり、見直しの対象になります。