「なぜ選んだか」の自由回答は分析できるか｜LLMで判断理由を分類した研究の読み方

「なぜ選んだか」の自由回答は分析できるか｜LLMで判断理由を分類した研究の読み方

顧客インタビューや失注ヒアリングで「なぜその選択をしたのですか」と尋ね、自由記述の回答を蓄積している企業は少なくありません。しかし、その自由記述は「読んで参考にする」以上の使い方をされないまま溜まっていくことが多いのではないでしょうか。数値化しにくい言語データを、判断のための材料としてどこまで扱えるのか——この問いに一つの手がかりを与える研究が、PNAS(米国科学アカデミー紀要)に掲載されました。

論文名は「Large language models accurately identify decision reasons in verbal reports」（Kamil Fuławka, Ralph Hertwig, Dirk U. Wulff、2026年6月30日公開、DOI: 10.1073/pnas.2526798123）です。この記事では、見出しだけを見ると誤解しやすいこの研究の中身を、条件と数値の意味に踏み込んで整理します。

30秒で要点

• PNAS掲載論文(2026年6月30日公開、DOI: 10.1073/pnas.2526798123)は、86人が20問の金銭くじ問題に回答し、判断理由を自由記述で提出する実験を行った
• 事前に定義された47個の判断理由のうち、大規模言語モデル(検証対象の中で最も精度が高かったのはQwen-3-235B-A22B)がどれが言語報告に含まれるかを判定
• 確信度しきい値T=80のとき、「特定された理由が示す選択」と「実際の選択」の一致率は94.7%(論文のSignificance欄では95%と丸め表記)
• 論文は、判断理由の分布が個人差よりも選択問題の構造によって決まりやすいと述べている。ただし実験はN=86・20問・47理由という実験室的な規模にとどまる

実験の設計——何を、どう測ったか

この論文の実験は、86人の参加者が20問の金銭くじ(monetary lottery)問題に回答するというものです。それぞれの問題で「なぜその選択をしたか」を自由記述で提出してもらい、研究チームは事前に47個の判断理由を定義しておきました。たとえば「損失を避けたかったから」「期待値が高かったから」といった理由が、あらかじめリスト化されていたと考えてください。

大規模言語モデルの役割は、この47個のリストの中から、参加者の自由記述にどの理由が含まれているかを判定することです。検証された複数のモデルの中で、最も精度が高かったのはQwen-3-235B-A22Bでした。ここで重要なのは、リストにない理由はそもそも拾えない設計になっている点です。参加者が独自の理由を書いていたとしても、47個のリストに存在しなければ、モデルの判定対象にすら入りません。

「95%当てた」の正確な意味

論文のSignificance欄には「achieving 95% alignment between actual choices and those implied by the identified reasons(特定された理由が示す選択と実際の選択のあいだで95%のアラインメントを達成した)」という記載があります。この一文が独り歩きすると「LLMが判断理由を95%の精度で当てた」という理解になりがちですが、これは正確ではありません。

Fig.1キャプションに記載された数値は94.7%(Significance欄では95%に丸め表記)で、これは確信度しきい値T=80という条件のもとで得られたものです。つまり、モデルが「この理由が含まれている」と自信を持って判定した場合に限定し、そこから推測される選択と、参加者が実際に行った選択を突き合わせた一致率が94.7%だった、ということです。「判断理由をどれだけ正確に分類できたか」ではなく、「特定された理由が示す選択」と「実際の選択」の整合率という、一段階挟んだ指標である点を区別する必要があります。

分母・分子で整理すると、分母は「モデルが確信度T=80以上で理由を特定できたケース」、分子はそのうち「理由から推測される選択と実際の選択が一致したケース」です。確信度のしきい値を下げれば対象ケースは増えますが、一致率は変わる可能性があります。この条件を明示せずに「95%当てた」とだけ伝えると、読み手はこの数値がどんな条件でも成り立つかのように誤解しやすくなります。

なぜこの数字を過大評価しやすいのか

学術論文のSignificance欄は、専門家以外にも研究の意義を伝えるために書かれる要約です。そのため、細かい条件よりもインパクトのある数字が前面に出やすい構造になっています。「95%」という数字だけを見た読み手が「LLMは人の判断理由をほぼ完璧に読み取れる」と受け取ってしまうのは、要約という形式そのものが持つ性質によるものであり、読み手の理解力の問題ではありません。

同じことは、ビジネスの現場で目にする調査結果の要約全般にも言えます。見出しの数字だけを鵜呑みにせず、「その数字は何を分母・分子として計算されているか」を確認する習慣が、この種の誤読を防ぐ最小限の防御策になります。

「個人差より問題の構造」という発見をどう読むか

論文のSignificanceは、特定された判断理由の分布について「主として選択問題の構造によって変わり、個人差による部分は小さい(vary primarily with the structure of choice problems, and less so across individuals)」と述べています。これは、「人によって判断理由は大きく違う」という直感とは異なる結果です。

言い換えると、ある人が「損失回避」を理由に選ぶか「期待値」を理由に選ぶかは、その人の性格や価値観よりも、提示された選択肢の組み合わせ方によって決まりやすい、ということになります。この発見が正しければ、顧客理解の実務においても、「この顧客はどんなタイプか」を分析するより先に、「この顧客にどんな選択肢の構造を提示したか」を確認する方が、判断理由の予測に役立つ可能性があります。

ただし、この発見は86人・20問という金銭くじ実験から得られたものです。実務上の商談や採用面接は、金銭くじよりもはるかに複雑な選択肢の構造を持つため、同じ関係がそのまま成り立つとは限りません。論文自体もこの点まで検証していないため、ここでは「示唆」として扱うにとどめます。

確かなことと、まだ確かではないこと

確かなこと: PNAS掲載論文(2026年6月30日公開、DOI: 10.1073/pnas.2526798123)が、86人・20問の金銭くじ実験において、事前定義された47個の判断理由をLLM(最も精度が高かったのはQwen-3-235B-A22B)が判定し、確信度しきい値T=80のとき94.7%(Significance欄では95%)のアラインメントを報告していること。判断理由の分布が個人差より問題の構造で決まりやすいと論文が述べていること。

まだ確かではないこと: この結果が金銭くじ以外の意思決定(商談・採用・購買判断など)にどこまで一般化できるか。個人差と問題構造の影響を分けた具体的な統計量や、累積プロスペクト理論との予測精度比較など、論文本文の後半にあるとみられる詳細は、本記事の情報源からは確認できていません。

自分でも試せる、最小の検証

手元にある顧客インタビューや失注ヒアリングの自由記述を数件選び、「回答者の個性」ではなく「その回答を引き出した質問・選択肢の提示のされ方」に注目して読み直してみてください。同じような理由が複数の回答者から出ている場合、それは回答者の共通した性格ではなく、質問の構造が理由を誘導している可能性があります。

判断軸の提示

溜まっている自由記述データを分析しようとするとき、「この人はどんな人か」から始めるのではなく、「この回答を引き出した問いは、どんな構造だったか」から始めること。個人差に原因を求めるより、問いの立て方を見直す方が、次の顧客理解に活かしやすい場合があります。

この記事で扱ったような判断を、自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。