AIに顧客を演じさせて反応を見る、という使い方が広がっています。やってみると、出てくる選択は妙に人間らしい。手元の調査データと傾向が合うこともあります。そこで「これは代理として使える」と判断したくなります。
ただ、ここで一つ引っかかります。出てくる答えが同じことは、答えの出し方が同じことの証拠になるのか。 もし出し方が違うなら、条件を変えたときのずれ方も違うはずです。そして実務で知りたいのは、たいてい「条件を変えたらどう動くか」です。
この問いに、層を分けるという方法で踏み込んだ研究があります。arXiv:2609.22225（Johnathan Sun, Andrei Shleifer, Yonatan Belinkov、2026年9月2日投稿）です。査読前のプレプリントであり、以後の改訂で記述が変わりうることを先に書いておきます。
30秒で要点
- 研究は「大規模言語モデル（大量の文章で訓練され、文脈に応じて次の語を選ぶモデル。以下LLM）は人間らしいか」を一枚の判定にせず、人間の選択を説明する認知経済学の理論を使って層に分けて評価した
- 文脈はLLMの選択と問題のカテゴリ化の両方を人間に似た方向へ動かした。一方で、価格・品質といった属性への注意の配り直しは人間のようには確実に起こらなかった
- 快楽的な手がかりの下では、平均的なLLMが機能的な手がかりの下と比べて高価格・高品質側を選ぶ確率が2倍以上になった
- しかし人間型の属性感度パターンを示したのは、モデルと手がかりの組み合わせのうち26%にすぎない。62%は片方の属性だけが人間型に動き、12%は両方で人間と逆向きに動いた
- 規模の拡大も段階的に考えさせる指示も、文脈への反応の強さを確実には下げなかった
- プロンプトに入れる例示の構成で、平均の高価格側選択率が49%から74%まで動いた
「人間らしいか」を一枚で判定しない、という設計
この研究がまず特徴的なのは、問いの立て方です。
「LLMは人間に似ているか」という問いは、そのままでは答えが出ません。何が似ていれば似ていると言うのか、が決まっていないからです。この論文は、人間の選択を説明する認知経済学の理論——カテゴリ化（目の前の問題をどの種類の問題として捉えるか）、そしてそれに応じた属性への注意の配り直し——を土台に据え、判定を層に分けました。依拠しているのは Bordalo, Gennaioli, Lanzani, Shleifer による "A cognitive theory of reasoning and choice"（Quarterly Journal of Economics 141(3)）です。
そして結論は、LLMの意思決定の仕組みは人間のものとは別物（distinct）に見えるというものでした。選択が似ていたことと、仕組みが似ていることは、この研究の中では別の項目として扱われています。
どう測ったか——20セクター・100製品・800ペア
測り方を押さえておきます。ここを飛ばすと、後の数字の分母が分からなくなります。
ベンチマークは20のセクターから100製品を取り、各製品について価格と品質が段階的に上がる5段階の選択肢を用意しています。そこから隣接するペアを、提示順の両方を含めて作ると800の選択肢ペアになります。
プロンプトの条件は、ペアごとに11種類です。中立の条件が1つ、そして5種類の手がかりそれぞれについて快楽的（楽しさ・心地よさの側に寄せた文脈）と機能的（実用・用途の側に寄せた文脈）の2通りで10、合わせて11になります。手がかりの型は、購入のきっかけ（purchase trigger）、小売の場の設計（retail architecture）、支払いの出どころ（payment source）、正当化（justification）、推論の枠組み（reasoning frame）の5つです。
試行数は、確認できた内訳が中立条件を含む基本セット8,800（800ペア × 11条件）、価格を振る条件88,000、品質を振る条件44,000です。論文の抄録は総数を約140,000試行と記載しています。
選択は、人間に似た方向へ動いた
まず似ていた層です。
快楽的な手がかりの下では、平均的なLLMが機能的な手がかりの下と比べて、高価格・高品質側を選ぶ確率が2倍以上になりました（p < 0.001、片側の対応のあるt検定）。「楽しむために買う」という文脈を置くと上位の選択肢に寄り、「用途を満たすために買う」という文脈を置くと寄らない。向きとしては、人間の消費者行動の研究知見と素直に重なります。
カテゴリ化についても、文脈が人間に似た方向へ動かしたと論文は述べています。問題をどの種類の買い物として捉えるか、という層までは人間と同じ向きに反応したということです。
ここで止めれば、「LLMは人間に似た選択をする」という記事が書けます。実際、そう要約される余地もあります。しかし論文は、もう一層下を見ています。
注意の配り方は、似なかった
人間の場合、快楽的な文脈に置かれると価格への感度が下がり、品質への感度が上がる——どの属性を重く見るかの重みが入れ替わります。これが理論の想定する属性への注意の配り直しです。
LLMでこのパターンが確認できたのは、モデルと手がかりの組み合わせのうち26%でした。残りのうち62%は、価格と品質のどちらか片方だけが人間型に動き、もう片方は動きませんでした。そして12%は、両方の属性で人間と逆向きに動きました。
ここが、この研究のいちばん読み応えのある部分だと思います。選択の結果だけを見ていれば「2倍以上」という目立つ数字が出ており、人間らしさの証拠に見えます。しかし一段下の層では、同じ向きに動いていたのは4分の1程度でした。上の層で一致していることが、下の層の一致を意味していなかったのです。
言い換えると、同じ答えに別の道筋で到達していた組み合わせが多数あったことになります。道筋が違えば、条件を変えたときのずれ方も違います。だから「今回は合った」という観察は、「次も合う」という予測を支えません。
規模を上げても、考えさせても、揺れは収まらなかった
ここで自然に出てくる期待が、「もっと大きなモデルなら」「段階的に考えさせれば」です。
論文は、規模の拡大も、段階的に考えさせる指示（chain-of-thought）も、文脈への反応の強さを確実には下げなかったと述べています。ここは語の強さに注意が必要です。原文は "reliably attenuates" を否定しており、「まったく効果がない」ではなく「確実には下げない」です。個別のモデルや条件で増減があったかどうかは、本記事の確認範囲では断定できません。
それでも実務上の含意は残ります。「モデルを上げれば安定する」という前提は、この研究の範囲では支えられていない。 対策として想定しやすい2つの手が、どちらも確実な解決にはならなかった、ということです。
例示を入れ替えると、選択率が49%から74%に動いた
もう一つ、設計の側に直接響く結果があります。
プロンプトに与える例示の構成です。8つの例のうち快楽的な例の数を0から8に増やすと、平均の高価格側選択率が49%から74%に上がりました。
これは、モデルの性質ではなく聞き方の性質です。同じモデル、同じ選択肢で、手本として置いた例の混ざり方だけを変えて25ポイント動いています。実務で「AIに消費者反応をテストさせた」という結果を見るとき、その数字がモデルの推定なのか、こちらが例示で与えた偏りの反映なのかは、プロンプトを見ないと区別できません。
なぜ「似ている」で満足してしまうのか
ここで、読者がこの誤解をしやすい構造を考えておきます。
理由の一つは、検証のコストが非対称なところにあります。選択の一致は数えれば分かります。手元のデータと並べて、傾向が合っているかを見るだけです。一方、注意の配り方が一致しているかを見るには、条件を系統的に振って感度の変化を測る必要があります。20セクター・800ペア・11条件という規模の設計が要る、ということです。
つまり安く確かめられる層だけで判定が終わる構造になっています。そして安く確かめた結果が肯定的だったとき、わざわざ高い検証に進む動機は生まれにくい。
もう一つは、似ていることが使えることの証明に見えるという点です。代理として使う目的は、たいてい「人間に聞く手間を省く」ことです。そこに「人間と似た答えが出た」という観察が来ると、目的が達成されたように感じます。しかし省きたかったのは手間であって、検証ではありませんでした。
数字の分母を確認する
この記事で扱った数値の分母を整理します。分母が違う数字を並べると、強さを取り違えます。
表が収まらない場合は、横にスクロールできます
| 数値 | 分母（何を数えているか） | 注意 |
|---|---|---|
| 2倍以上 | 平均的なLLMの、高価格側を選ぶ確率の比 | 集計値。個別モデルごとの倍率ではない |
| 26% / 62% / 12% | モデル × 手がかりの組み合わせ | モデル単位の割合ではない。3つの合計が100 |
| 49% → 74% | 例示の構成を変えたときの、平均の高価格側選択率 | 例示に含めた快楽的な例の数が0から8への変化 |
| 約140,000 | 試行数（抄録の記載） | 確認できた内訳は8,800・88,000・44,000 |
とくに26%の分母は読み違えやすい箇所です。これは「26%のモデルが人間型だった」ではなく、「モデルと手がかりの組み合わせのうち26%で人間型のパターンが成立した」という意味です。あるモデルが、ある手がかりでは人間型に、別の手がかりでは逆向きに動くことがありえます。
名指しされたモデルは「その時点の一覧」である
論文が実験対象として列挙しているモデルは12あります。投稿時点（2026年9月2日）の表記で、GPT 5.4、Gemini 3.5 Flash、GLM 5.2、DeepSeek v4 Pro、Qwen 3.7 Plus、Gemma 3 の4B・12B・27B、Qwen 3 の4B・8B・14B・32Bです。
この一覧を引くときに、一つ注意があります。これは論文が投稿された時点で選ばれた対象の一覧であって、「いま広く使われているモデルの一覧」ではありません。 版数は短い周期で更新され、論文の執筆から公開までの時間差のあいだにも入れ替わります。実際、当サイトの別の記事では、ここに挙がったものより後の版数を扱っています。
この区別は細かいようで、読み方を変えます。「代表的なモデルで検証された」と読むと一般性の話になりますが、「ある時点で選ばれた12の対象で検証された」と読むと範囲の話になります。研究の価値は後者の読み方でも落ちません——層を分けるという方法論は、対象が入れ替わっても使えるからです。むしろ、結果の数字より方法が持ち越せるという点が、この論文を実務で使うときの要点だと考えています。
この記事が踏み込まないこと
確認できていない範囲を区切っておきます。
- 論文の記述に数値の矛盾があるという主張。試行数の記載について、本記事が確認できたのは上記の3つの内訳と抄録の約140,000という記載までです。矛盾の存在を確認していないため、そう書きません
- モデルごとの個別結果。段階的に考えさせる指示が特定のモデルで文脈効果を強めたかどうかは、本記事の確認範囲外です
- 製品の性質ごとの効果の違い。どんな製品で効果が大きくなるかという条件は確認していません
- モデル名・版数のベンダー公式発表との照合。論文の記載を論文の記載として扱う範囲にとどめています
- 代理として使えるか否かの一般的な結論。この研究は層ごとの一致・不一致を示したもので、利用可否の判定を出したものではありません
確かなことと、まだ確かではないこと
確かなこと: この査読前論文が、人間らしさの判定をカテゴリ化と属性への注意の配り直しという層に分けて評価したこと。選択とカテゴリ化は人間に似た方向へ動き、属性への注意の配り直しは確実には起こらなかったとされていること。人間型の属性感度パターンが成立したのはモデルと手がかりの組み合わせの26%であったこと。例示の構成で平均の高価格側選択率が49%から74%へ動いたこと。
まだ確かではないこと: 査読を経ていないこと。この結果が、実務で使うプロンプトや製品カテゴリにどこまで及ぶか。層ごとの不一致が、具体的にどのような予測の外れ方として現れるか。これらは論文の範囲を超えています。
最小の検証——例示の偏りを数えてから結果を読む
次にAIで顧客反応をテストするときは、結果を読む前に一手だけ挟んでください。
プロンプトに入れた例示を数える。 例を何件入れたか、そのうち「楽しさ」寄りの文脈が何件、「用途」寄りの文脈が何件かを数えます。そして、その比率を逆にした版をもう1回走らせます。
2つの結果が大きく動いたなら、見ていたのは市場の推定ではなく例示の反映を含んだ数字です。動かなかったなら、少なくともその項目は例示の構成に対して頑健だったことになります。どちらであっても、1回の実行だけでは区別できなかったことが区別できます。
代理として使うかを決める前に置く3つの問い
- 一致を確認したのは、どの層か。 選択の結果だけか、条件を振ったときの動き方までか。前者だけなら、次に条件が変わったときの予測は支えられていません
- その数字の分母は何か。 モデル単位か、モデル×条件の組み合わせ単位か。分母が違えば、同じパーセントの意味が変わります
- 聞き方を変えたら、どれだけ動くか。 動く幅を測っていない結果は、モデルの性質とこちらの設計を分けられていません
同じLLMの振る舞いを扱った記事でも、見ている層が違います。AIは人間の判断のクセをどこまで予測できるかはモデルが人間の偏りを再現・予測できる範囲を、AIと少し話しただけで、判断の重心が自分寄りにずれるは会話が人間側の優先順位に与える影響を、情報は増えた。それでも結論は変わらなかったは集団の意思決定に入ったときの効果を扱っています。いずれも「モデルや会話が、判断をどれだけ動かすか」という量の線です。この記事はそこから離れて、人間らしさの判定そのものをどう分解するかに絞っています。
この記事で扱ったような判断を、自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。
状況を整理する（15分）