「アンケートの回答をAIに生成させれば、調査の工数が下がる」という提案は、形を変えて何度も出てきます。否定しにくいのは、出力が妥当に見えるからです。属性をいくつか与えれば、それらしい回答が返ってくる。平均を取れば、それらしい分布になる。
ここで問いが1つ抜けています。何が似ていれば、代わりになったと言えるのか。
2026年10月10日に投稿されたプレプリント「Probable but Not Valid: A Psychometric Audit of Decision Models as Synthetic Survey Respondents」（Mantas Lukauskas, Viktorija Šarkauskaitė、arXiv:2610.14912、DOI 10.48550/arXiv.2610.14912）は、この問いを2つに割っています。集団レベルの忠実さと、個人レベルの忠実さ。
結果は、同じモデルが片方で高く、もう片方で低い、というものでした。
扱わないものを先に置きます。この結果を別の調査票・別の言語・別の母集団・業務用途へ広げることは扱いません（対象が1本の調査に限られているためです）。スコアの算出式や各手法の実装も扱いません（要旨の範囲を超えるためです）。ここで扱うのは、2つの忠実さがどう分かれたかと、その分かれ方をどう使うかです。
30秒で要点
- 監査対象は、評価尺度の各点に確率を返す決定モデル11プロバイダ14種と、生成モデル47種
- データは公開されているリトアニアの組織心理学調査（n=263、68項目）と、実在回答者プロファイル100件
- 最良の生成モデルは PSS 0.813。他の回答者だけで当てはめた古典的な統計手法（0.824）と同水準で、標本内で当てはめた同手法（0.927）は下回る
- 指標自体に限界がある。 実在する100人の第2標本が最良モデルより低いスコアになり、この標本規模では指標でモデルと実在回答者を順位づけできない
- 集団レベルでは、決定モデルの確率ベクトルは人間の項目分布に「はるかに近い」
- 個人レベルでは、どの決定モデルも「他の回答者の回答頻度」に負けた。プロファイル情報を足しても改善は1.0%
- 10の製品ラインのうち5つで新しい版が以前の版を下回り、ノイズを超えて上回った版は1つもない
- 論文の結論は「使えない」ではなく「標本レベルの忠実さを狙うべき」
表が収まらない場合は、横にスクロールできます
| 用語 | 意味 |
|---|---|
| 合成回答者 | 実在の回答者の代わりに、モデルが生成したアンケート回答 |
| 決定モデル | 「5段階のどれを選ぶか」を1つ選ぶのではなく、各点に確率を返すモデル |
| 生成モデル | 文章として回答を生成するモデル。ここでは47種が対象 |
| PSS（心理測定的類似度スコア） | 人間の回答パターンとの近さを表す指標。算出式は要旨の範囲外 |
| 項目周辺分布 | 各質問項目で、どの選択肢が何割選ばれたかという分布 |
| 標本レベルの忠実さ | 集団全体の分布が人間の調査と似ている状態 |
| 個人レベルの忠実さ | 特定の1人の回答を当てられる状態 |
| ベースライン | 比較の基準にする素朴な手法。これに負けたら価値がない、という線 |
| 再標本化のノイズ | 標本を取り直したときに生じる、意味のない範囲の差 |
| プレプリント | 査読を経る前に公開される論文 |
| 前提設計（施策の前に揃える目的・制約・判断基準） | 手段を選ぶ前に、何を測れば判断できるかを決めておくこと |
何が監査されたのか
監査の対象は2種類に分かれています。
決定モデル：11のプロバイダから14種。評価尺度の各点に確率を返すモデルです。「この人はこの項目に4と答える」ではなく、「1に5%、2に10%、3に25%、4に40%、5に20%」という形の出力を返します。
生成モデル：47種。文章として回答を生成するモデルです。
データは、公開されているリトアニアの組織心理学調査です。回答者263人、68項目。 ここから実在回答者のプロファイル100件を使い、心理測定的類似度スコア（PSS）と統計的なベースラインで評価しています。
論文は36ページ、6つの図、16の表。コードと生の出力は、著者への請求制です。査読を経ていない第1版のプレプリントです。
この構成を押さえておくことが、後の数字を読むうえで効いてきます。1本の調査票、1つの言語圏、263人。 これが分母です。
0.813という数字の位置
最良の生成モデル MiniMax M3 は、PSS 0.813 に達しました。
この数字だけでは、高いのか低いのか分かりません。論文は、2つの比較対象を置いています。
表が収まらない場合は、横にスクロールできます
| 比較対象 | PSS |
|---|---|
| 他の回答者だけで当てはめた古典的な統計手法（ガウシアン・コピュラ） | 0.824 |
| 最良の生成モデル（MiniMax M3） | 0.813 |
| 標本内で当てはめた同じ統計手法 | 0.927 |
最良のモデルは、真ん中ではなく下から2番目です。 他の回答者のデータだけから統計的に合成した結果（0.824）と同水準で、同じ標本の中で当てはめた結果（0.927）には届いていません。
つまり、モデルを使って得られた水準は、古典的な統計手法で既に得られていた水準です。 これは「モデルが悪い」という話ではなく、「モデルを使う理由は、この指標では説明できない」という話です。
指標そのものに限界がある
ここが、この論文でいちばん落としてはいけない部分です。
論文は、実在する100人の第2標本も、同じ指標に通しています。 結果はこうです。
実在する100人の第2標本が、最良のモデルよりも低いスコアになった。
そして論文は、この観察から次を導いています。この標本規模では、PSSでモデルと実在回答者を順位づけできない。
この一文の効き方を具体的に書きます。もし「モデルが0.813、人間が0.78」という表を作ったとしたら、その表はモデルが人間を上回ったことを示していません。示しているのは、この指標がこの規模では両者を区別できないということです。
だから、「AIの回答は人間並みになった」とも「人間を上回った」とも書けません。 書けるのは、「この指標とこの標本規模では、順位づけが成立しない」までです。
実務でこの型の誤りが起きやすいのは、指標の限界が、結果の表とは別の場所に書かれているからです。表には数字が並びます。限界は文章で書かれます。表だけを引用すると、限界は運ばれません。
集団では近づき、個人では負ける
ここから、2つの忠実さが分かれます。
集団レベル。 回答者で平均を取ると、決定モデルの確率ベクトルは、丸めた回答よりも人間の項目周辺分布にはるかに近いと論文は述べています。さらに、163人の実在回答者で当てはめたプロファイル回帰と同程度に回答者を順位づけできるとも報告しています。
個人レベル。 一方で、個々の回答者自身の回答の予測としては、どの決定モデルも「他の回答者の回答頻度」に劣りました。 理由として挙げられているのは、モデルの平均的なベクトルが、その回答頻度とは異なっているためです。
ここでベースラインの素朴さに注目してください。「他の回答者の回答頻度」とは、その人について何も知らないまま、他の人たちが多く選んだ選択肢を答えるという手法です。年齢も職位も使いません。
その手法に負けた。
さらに、プロファイル回帰——プロファイル項目から個人の回答を予測する統計手法——は、その回答頻度を1.0%しか改善しませんでした。 どの項目がプロファイルとして与えられたかは、要旨には書かれていません。 論文はここから、プロファイル項目は「人がどう答えるか」についてほとんど何も語っていないと述べ、こうしたプロファイルに基づく合成回答者は、標本レベルの忠実さを狙うべきであると結論しています。
この結論の形は重要です。「使えない」ではありません。 狙う対象を標本レベルに限定せよ、という用途の切り分けです。
新しい版が、以前の版を下回る
もう1つ、直感に反する結果があります。
10の製品ラインのうち5つで、同じラインの新しい版が以前の版を、再標本化のノイズを超えて下回りました。 そして、ノイズを超えて上回ったラインは1つもありません。
「ノイズを超えて」という限定が入っていることに注意してください。標本を取り直せばスコアは多少動きます。その範囲の差は、差とは数えない。それを超えて下がったものが5つあり、超えて上がったものが0だった、という報告です。
ただし、これは心理測定調査の回答再現というタスクでの結果です。他の用途で新しい版が劣るという話ではありません。言えるのは、「このタスクでは、版が新しいことがスコアの根拠にならない」までです。
実務への含意は明確です。モデルを入れ替えたら再評価が必要であり、入れ替えたこと自体を改善の報告にはできません。
読み出し方を変えると、評価が入れ替わる
もう1つ、測り方そのものが結果を動かす例が報告されています。
既定の丸め読み出し——確率ベクトルを1つの選択肢に丸めて評価する方法——では、14種の決定モデルのうち13種が生成モデルの参照を下回りました。 この参照に使われているのは gpt-5.4-mini です。
論文はこれを参照（reference）として置いているだけで、性能の上限を代表させてはいません。この名前を見て「上限での結果」と読まないでください。 この系列の公開日は2026年3月5日で、論文が投稿された時点でフロンティアに位置するモデルではありません。
さらに、47種の生成モデルのうち33種が、項目間の相関のパターンを、どの決定モデルよりもよく再現しました。
ところが、丸めずに確率ベクトルをそのまま使うと、評価は逆向きになります。先に見たとおり、回答者平均では決定モデルの確率ベクトルが人間の項目分布にはるかに近いのです。
同じモデル、同じデータで、読み出し方を変えると順位が入れ替わる。 これは、スコアを比較するときに「どう読み出したか」を書かなければ比較が成立しないことを意味します。
なぜ「人間並み」という要約になるのか
この論文の結果が「AIが人間並みにアンケートに答えられるようになった」という形に縮んでしまうのには、構造的な理由が3つあります。
第一に、高いスコアは結論に見え、限界は注意書きに見えるからです。 0.813という数字は結果です。「この規模では順位づけできない」は方法論の記述です。要約するとき、人は結果を残して方法論を落とします。 落とした部分に、結果の解釈を縛る条件が入っています。
第二に、「平均が似ている」ことの説明力を過大に感じるからです。 集団の分布が一致していれば、個人も当たっているように感じます。しかし分布の一致は、誰がどれを選んだかについて何も言いません。同じ分布を作る割り当ては無数にあります。 平均が合うことは、個人が合うことの弱い証拠にもなりません。
第三に、ベースラインが素朴すぎて、比較対象として軽く見えるからです。 「他の回答者の回答頻度を答えるだけ」という手法は、手法と呼ぶのもためらわれるほど単純です。だからこそ、それに負けたという結果は重い。 にもかかわらず、素朴なベースラインとの比較は「本番の比較ではない」と扱われがちです。順序が逆です。素朴なベースラインに勝てないなら、そこで止まります。
この3つが揃うと、論文の結論（用途を標本レベルに限定せよ）が、正反対の提案（人間の調査を置き換えられる）として社内に伝わります。
どこまでなら使えるのか、を分けて書く
この論文から導ける使い分けは、何を測りたいかで分かれます。
集団の分布が知りたい場合。 論文は集団レベルでの近さを報告しています。ただし比較対象として、他の回答者のデータから統計的に合成する古典的手法が同水準（0.824）であることも示されています。モデルを使う前に、その手法で足りないかを確認する順序になります。
特定の個人やセグメントの反応が知りたい場合。 論文の結果は、プロファイル情報が個人の回答をほとんど説明しないことを示しています（改善1.0%）。プロファイルを与えて個人の回答を作る設計は、この監査の範囲では支持されていません。
モデルを比較したい場合。 読み出し方を書かないと比較が成立しません（丸めるか、確率のまま使うか）。また、版が新しいことは根拠になりません。
そして、どの用途でも共通する前提があります。この結果は1本のリトアニア語圏の組織心理学調査（n=263）に基づいています。 別の調査票・言語・母集団で同じ分かれ方になるかは、確認されていません。査読前の第1版でもあります。
確かなことと、確かでないこと
確かなこと（2026年10月27日に arXiv:2610.14912 の要旨ページ全文を確認した範囲。本文PDFは読んでいません）：監査対象が11プロバイダ14種の決定モデルと47種の生成モデルであり、データが公開されているリトアニアの組織心理学調査（n=263、68項目）と実在回答者プロファイル100件であること。最良の生成モデルが PSS 0.813 で、他の回答者だけで当てはめたガウシアン・コピュラ（0.824）と同水準、標本内で当てはめた同手法（0.927）を下回ること。実在する100人の第2標本が最良モデルより低いスコアになり、この規模ではPSSで両者を順位づけできないと論文が明記していること。10の製品ラインのうち5つで新しい版が以前の版をノイズを超えて下回り、ノイズを超えて上回ったものがないこと。既定の丸め読み出しでは14種中13種の決定モデルが生成モデルの参照を下回り、47種中33種が項目間相関のパターンをどの決定モデルよりもよく再現したこと。回答者平均では確率ベクトルが人間の項目周辺分布にはるかに近く、163人で当てはめたプロファイル回帰と同程度に回答者を順位づけできること。個人の回答予測ではどの決定モデルも他の回答者の回答頻度に劣り、プロファイル回帰の改善が1.0%であり、論文が標本レベルの忠実さを狙うべきだと結論していること。
確かでないこと：この結果が他の調査票・言語・母集団・業務用途で再現するかは確認されていません。PSSの算出式や各ベースラインの実装詳細も、要旨の範囲を超えるため扱えません。11プロバイダ・47モデルの具体名も要旨に列挙がなく、本文PDFを読んでいないため分かりません。MiniMax M3 の提供元・仕様・公開時期も、要旨に記載がないため未確認です。査読を経ていない第1版であり、コードと生の出力は著者への請求制で、独立した再現は現時点でできません。
手元で試せる、最小の検証
AIに回答を生成させる案が社内に出ているなら、実装の前に1つだけ確定させてください。
その回答を使って答えたい問いは、集団の分布についての問いか、特定の誰かについての問いか。
書き方は簡単です。「この調査で分かりたいこと」を1文で書いて、主語を見ます。主語が「全体の何割が」なら集団レベルです。「この層の人は」「この担当者は」なら個人レベルです。
次に、個人レベルだった場合に1つ確認します。与えるつもりのプロファイル項目——年齢、職位、業種、利用歴——が、回答を説明すると考える根拠はどこにあるか。 参照した論文では、プロファイル情報を使った統計手法が素朴なベースラインを1.0%しか改善していません。1本の調査の結果なので一般化はできませんが、「プロファイルを与えれば個人を再現できる」という前提は、少なくとも1つの監査では支持されていないという材料になります。
集団レベルだった場合も、1つ確認が残ります。手元に既存の回答データがあるなら、その一部を伏せて、残りから分布を推定できるか試す。 論文で0.824を出した手法は、他の回答者のデータだけから合成するものです。これで足りるなら、モデルを使う理由は別に立てる必要があります。
どちらの確認も、モデルを1回も呼ばずに終わります。 呼ぶ前に、何が似ていれば足りるのかが決まります。
統計的な比較で何を確かめるべきかという土台は、統計で判断を壊さないでも扱っています。この記事はその応用として、生成されたデータを比較に使うときに何が壊れるかを見ています。
合成データを検討するときに立ち返る問い
立ち返りたいのは、「似ているとは、何が似ていることか」という問いです。分布が似ているのか、個人が当たっているのか。この2つを1つのスコアで扱うと、片方で高い数字が、もう片方の根拠として使われます。
もう1つは、「その数字は、素朴な手法に勝っているか」という問いです。他の回答者の多数派を答えるだけの手法、他の回答者のデータから統計的に合成するだけの手法。これらに勝てていない数字は、どれだけ大きく見えても、新しい手段を導入する根拠にはなりません。
そして、この論文がいちばん丁寧にやっていることを、読む側も引き継ぐ価値があります。指標を信じる前に、指標が何を区別できないかを確かめる。 実在する100人を同じ指標に通したら、最良のモデルより低く出た。この1つの操作が、スコア表の読み方をすべて変えています。
参考資料・引用元
- Mantas Lukauskas, Viktorija Šarkauskaitė, "Probable but Not Valid: A Psychometric Audit of Decision Models as Synthetic Survey Respondents", arXiv:2610.14912, DOI 10.48550/arXiv.2610.14912（2026年10月10日投稿。2026年10月27日に要旨ページを確認。査読前のプレプリント第1版、36ページ）