2026年10月8日に、研究の公式公開リポジトリを再読しました。READMEは、金銭くじの選択後に書かれた自由回答を対象に、検証済みLLMが事前定義した意思決定理由を特定し、参加者の実際の選択と95%の試行で整合した研究の補助コード・データを公開しています。この95%は研究条件の整合指標であり、心の中の理由を直接測った精度、任意の顧客インタビューの分類精度、業務成果を意味しません。
自由回答をLLMへ渡せば、人の本当の理由がそのまま読めるわけではありません。重要なのは、質問、選択肢、コードブック、評価者、モデル、検証データを分け、「95%」が何と何の一致なのかを確かめることです。
論文を読み直した日と範囲
2026年10月7日に、Fuławka・Hertwig・WulffのPNAS論文と、論文のPubMed要約、再現用コードとデータの公開リポジトリを確認しました。論文は、金銭くじの選択後に参加者が書いた自由回答から、事前定義した意思決定理由をLLMで分類し、選択との整合を検証する枠組みを扱います。企業の顧客インタビューを直接検証した研究ではありません。
30秒で要点
- 95%は、LLMが心の中の理由を直接測った精度ではなく、特定した理由が実際の選択と整合した割合である
- 研究は86人が20問の金銭くじに答える実験で、コードブックとモデルの条件が結果を決める
- 理由の分布が個人差より問題の構造に左右されるという発見は、実務では仮説として扱う
- 自社で使うなら、コードブック、匿名化、人手の盲検比較、別期間・別質問で検証する
表が収まらない場合は、横にスクロールできます
| 層 | 研究で置かれたもの | 実務で確認すること |
|---|---|---|
| 回答 | 選択後の自由記述 | 質問文、記憶、誘導、言語、個人情報 |
| コードブック | 事前定義された理由の候補 | 抜け、重複、複数理由、専門語 |
| モデル | LLMによる理由分類 | モデル版、プロンプト、出力形式、更新 |
| 検証 | 選択との整合、人手・予測との比較 | 盲検、複数評価者、別期間、反証 |
「95%」を分解する
論文の要約は、検証済みLLMが自由回答から事前定義した理由を特定し、その理由が示す選択と参加者の実際の選択が95%の試行で整合したと説明します。これは理由ラベルの正解率と同義ではなく、LLMが参加者の無意識や本当の動機を読んだことも意味しません。分類誤り、複数理由の取りこぼし、選択と理由の循環的な検証を分けて確認します。
研究デザインの境界
対象は金銭くじのリスク選択で、選択後の短い言語報告を使います。研究は問題ごとの理由プロファイルが、個人差だけで説明するより有用な表現になる可能性を示しますが、商談、採用、購買、医療のような長期・協働・規制下の判断へ直接一般化できるとは書いていません。回答者が理由を言語化できること、質問の構造、文化、言語、モデルの知識が結果へ影響します。
自社での最小検証
- 目的を「理由を知る」ではなく、どの判断のどの選択肢を改善するかで書く。
- 回答を生む質問、選択肢、時点、同意、匿名化、保存期間を固定する。
- コードブックを少数の回答で作り、重複、抜け、複数ラベル、判断不能を明示する。
- LLMのモデル版、プロンプト、温度、出力、失敗・再試行を保存する。
- 人手の盲検評価、別期間・別質問、言語別のサンプルで精度と一致を比較する。
- 理由ラベルを個人の評価や価格差へ転用せず、施策仮説と再調査へ限定する。
再現性とデータ保護
クラウドLLMへ自由回答を送ると、個人情報、顧客秘密、モデル学習、国外移転、保存期間の論点が生じます。匿名化・最小化・アクセス権・委託条件を先に確認し、モデル更新で結果が変わる可能性を再ラベル用の基準サンプルで監視します。コードブックや回答を共有する場合も、再識別のリスクと同意範囲を見直します。
判断の土台
自由回答のLLM分類は、手作業を減らす候補であって、心理の診断器ではありません。数値の分母、評価の基準、研究の範囲、未確認の一般化を同じレポートへ書き、結果が異なるときに人手・質問・コードブック・モデルのどこを見直すかを決めてください。