評価の自動化は、たいてい次の理屈で始まります。「人間の採点はばらつく。だから機械で統一する」。応募書類のスクリーニング、問い合わせ対応の品質評価、生成物の自動レビュー。どれも、ばらつきを減らすことが導入の目的に置かれます。
その前提そのものを測った研究が公開されています。2026年10月6日に arXiv へ投稿されたプレプリント「Language-model ratings of depression reflect the rater more than the patient」（著者 Baihan Lin、arXiv:2610.08501）です。880通りのLLM採点者の構成に同じ面接記録を採点させ、点数のばらつきがどこから来ているかを分解しています。
結果を先に言うと、ばらつきの多くは採点される側ではなく採点する側から来ていました。そして、精度指標が同じでも「何人を拾い上げるか」は大きく違いました。
本記事はこの研究を、医療の話としてではなく評価設計の一般論として読みます。扱う範囲を先に区切っておきます。
30秒で要点
- 合計スコアの分散のうち、モデルの選択が30.0%を説明し、安定した採点対象側の差は10.5%だった。採点対象に関わる成分の合計は31%で、残り69%は採点者側に帰属する
- 69%は「ノイズ」ではない。中身はモデルの選択・指示文の文面・回答形式・交互作用という系統的な要因である。文面だけで7.7%、回答形式だけで5.9%
- AUCがほぼ同じでも拾い上げる人数は違う。 0.81と0.80の2構成が、同種の100人あたり24人と80人を拾い上げた。前者は30件の陽性のうち14件を見落とし、後者の見落としは1件
- AUC 0.70以上の540構成から2つを無作為に引くと、判定が食い違う対象は平均40%だった
- 再校正で精度61%→75%、食い違い40%→20%まで改善したが、約5人に1人は誰が採点するかで判定が変わる状態が残った
- 著者の結論は「校正は採点者依存の多くを修復したが、個々人についての合意は確保しなかった」。直せた対象と直せなかった対象が分かれている
- 転用できるのは数値ではなく手順（ばらつきの所在を分解して測る）である
何を測った研究で、何を測っていないか
制約を先に置きます。ここを飛ばすと、この後の数値が別の話に使われてしまいます。
研究は、事前登録した880の採点者構成に、189件の面接記録を8項目版の PHQ-8 という尺度で採点させています。880という数は、11のオープンモデル × 2つの会話の見せ方（対象者の発話のみ／対話全体）× 40の構成（指示文の文面5種・回答形式3種・採点規則2種の組み合わせと、合計点を直接答えさせる形）から来ています。
ここで最重要の制約です。PHQ-8 は面接前の自己報告によるスクリーニングの基準であって、診断ではないと著者が明記しています。したがって本記事は、うつ病の判定能力についての記事ではありません。読むのは、同じ対象を同じ基準で採点させたときに点数が何によって決まったかという構造の部分です。
もうひとつ。検証されたモデルは、コーパスのライセンス上ローカル処理が必要だったため、210億パラメータまでのオープンモデルに限られています。Qwen2.5（1.5B / 3B / 7B / 14B）、Llama 3.2（1B / 3B）、Llama 3.1 8B、Mistral 7B Instruct v0.3、Phi-3.5-mini、DeepSeek-R1-Distill-Qwen-7B、gpt-oss-20b です。採点は固定の手がかりの後の正規化された回答確率から取っており、推論の文章を生成させていません。
つまり「最前線のモデルでも同じことが起きる」とは書けません。言えるのは、2026年10月6日公開のこの論文が検証した11モデルの構成ではこうだった、までです。また単著の arXiv プレプリントであり、査読の完了は確認していません。
ばらつきの7割は、採点する側から来ていた
分散分解の結果が、この研究の中心です。分散分解とは、観測された数値のばらつきを「何がどれだけ説明しているか」に分けて測る手法です。
表が収まらない場合は、横にスクロールできます
| 成分 | 説明した割合 |
|---|---|
| モデルの選択 | 30.0% |
| モデル × 回答形式の交互作用 | 15.8% |
| 安定した採点対象間の差（主効果） | 10.5% |
| 採点対象 × モデルの交互作用 | 8.1% |
採点対象に関わる成分を合計すると31%、残りの69%は採点者側に帰属します。採点されている人の違いより、採点している構成の違いのほうが、点数を説明していたという形です。
さらに、採点の中身に関係しないはずの実装上の選択も効いていました。補足表によれば、指示文の文面（テンプレート）の主効果が7.7%、回答形式の主効果が5.9%を単独で説明しています。同じモデル・同じ対象でも、聞き方の体裁を変えると点数の水準が動くということです。
ここで語を正確に使う必要があります。69%を「ノイズ」と呼ぶのは誤りです。ノイズは無作為な誤差を指しますが、ここに入っているのはモデルの選択・文面・回答形式・交互作用で、いずれも実装時に人が選んだ系統的な要因です。毎回答えが揺れるという話ではなく、どの構成を選んだかが点数の水準を決めているという話です。
この区別は対処法を変えます。無作為な揺れなら、複数回実行して平均すれば減ります。系統的な要因なら、何回平均しても同じ水準に寄るだけです。
AUCが同じでも、拾い上げる人数は違う
ここが実務にもっとも直接響く部分です。
モデル選定の場面で提示されるのは、たいてい AUC です。AUC は順序づけの良さを表す指標で、ランダムに選んだ陽性と陰性の組について、陽性のほうに高い点が付く確率を意味します。1に近いほど順序づけが良いとされます。
この研究では、880構成の AUC は 0.34 から 0.88（中央値 0.75）に分布し、39%の構成が 0.70 を下回りました。採点者間の AUC の分散は、標本抽出による分散の10.6倍でした。つまりどの構成を選ぶかは、どのデータを引くかより大きく効いていたことになります。
そのうえで、決定的な対比が示されています。
表が収まらない場合は、横にスクロールできます
| 構成 | AUC | 同種の100人あたり拾い上げる人数 | 見落とし |
|---|---|---|---|
| Qwen2.5 7B | 0.81 | 24人 | 30件の陽性のうち14件 |
| Mistral 7B | 0.80 | 80人 | 1件 |
AUC はほぼ同じです。順序づけの能力は同等と評価されます。それでも、拾い上げる人数は24人と80人で、見落としは14件と1件でした。
論文はこの差を順序づけの正確さではなく offset、つまり平均的な過大評価の差に帰属させています。点の付け方全体が上にずれていれば、同じ閾値を当てたときに多くが線を超えます。順序は保たれたまま、線を越える人数だけが変わるわけです。
なお、この人数は「同種の100人あたり」という換算で示された値であり、実測の人数ではありません。それでも構造は明確です。AUC は順序づけの質を測り、拾い上げる人数は水準のずれで決まる。この2つは別の量です。
評価の自動化で本当に必要なのは、多くの場合「誰を拾い上げるか」の側です。応募書類なら面接に進む人の数、問い合わせ評価なら改善対象になる応対の数。しかし比較表に載るのは、ほぼ必ず順序づけの側です。
「精度」と「一致」も別の量である
もう一段あります。精度が確保できていても、一致は確保されません。
AUC が 0.70 以上だった540の構成から、無作為に2つを引きます。この2つの判定が食い違う対象は、平均40%でした。採点者を固定したときの対象側の95%区間は39〜42%です。
精度の高い構成だけに絞っても、どちらを使うかで判定が変わる対象が4割あるということになります。精度は「正解にどれだけ近いか」を測り、一致は「別の採点者でも同じ結論になるか」を測ります。前者が高くても後者が高いとは限りません。
評価の自動化は、通常「同じ入力には同じ結論が出る」ことを期待して導入されます。期待されているのは一致のほうです。ところが選定のときに見ているのは精度のほうです。導入の目的と、選定の基準がずれています。
なぜ精度指標だけを見てしまうのか
ずれが残るのは、注意不足ではなく構造の問題です。
第一に、精度指標は1つの数字で比較できるからです。 AUC 0.81 と 0.80 は並べれば優劣が付きます。一致率は2つの構成を決めて初めて計算でき、構成の組み合わせごとに値が変わります。単独の数字にならない量は、比較表に載りません。
第二に、精度はベンダーやモデル提供側が出す数字で、一致は自分で測る数字だからです。 与えられる数字と、手間をかけて作る数字では、議論に乗る速さが違います。手元に先に届いた数字が、判断の基準になります。
第三に、「正しさ」と「ぶれなさ」が日常語では一体に感じられるからです。 正確な道具はぶれないもの、という直感があります。しかし水準が一律に上にずれた道具は、順序づけとしては正確なまま、拾い上げる人数だけを増やします。正確さとぶれなさが分離しうるという事態は、言葉の上で想像しにくいのです。
この3つが重なると、「AUC の高いモデルを選んだのだから、評価は安定した」という結論に落ち着きます。測っていないことは、確かめられていないままになります。
校正は何を直し、何を直さなかったか
ではずれを直せばよいのか。研究は再校正も試しています。
ラベル付きの対象40人を使い、5つの規則（平均的な過大評価の差し引き、線形回帰、ロジスティック回帰、ラベル付きデータの陽性率への整合、ラベル付き陽性の80%以上を保持）を200回の無作為分割で比較しています。
最も良かったのは陽性率への整合で、精度が61%から75%へ、判定の食い違いが40%から20%へ改善しました。別の確認データでも、精度59%から75%、食い違い40%から21%と同じ方向でした。
改善は明確です。ただし、約5人に1人は依然として誰が採点するかで判定が変わる状態が残りました。論文はこの残りを「閾値を直したあとに残る『誰を拾い上げるか』についての不一致」と説明しています。
そして著者は、この再校正の解析が確認後に追加した探索的なものであると明記しています。事前登録された主結果と同じ強さでは扱えません。
抄録の結論は、この分かれ方を正確に述べています。校正は採点者依存の多くを修復したが、個々人についての合意は確保しなかった。 これは「LLM採点は使えない」という結論ではありません。直せた対象（水準のずれ）と、直せなかった対象（個別の合意）が分かれているという結論です。
確かなことと、まだ確かではないこと
確かなこと： この研究の分散分解で、モデルの選択が30.0%、安定した採点対象間の差が10.5%を説明し、採点者側の成分合計が69%だったこと。指示文の文面が7.7%、回答形式が5.9%を単独で説明したこと。880構成の AUC が 0.34〜0.88（中央値0.75）に分布し、39%が0.70未満だったこと。採点者間の AUC の分散が標本抽出による分散の10.6倍だったこと。AUC 0.81と0.80の2構成が同種の100人あたり24人と80人を拾い上げ、見落としが14件と1件だったこと。AUC 0.70以上の540構成から2つを引くと判定の食い違いが平均40%だったこと。再校正で精度61%→75%・食い違い40%→20%まで改善し、約5人に1人の不一致が残ったこと。
まだ確かではないこと： 最前線のモデルで同じことが起きるか（検証は210億パラメータまでのオープンモデルに限られ、推論文を生成させない採点方式です）。人間の採点者との優劣（臨床家による採点が無く直接比較できないと著者が明記しています）。他の課題でどの程度の値になるか（示された数値はこの課題・このデータ・この採点基準の値です）。査読の結果（arXiv プレプリントであり、掲載誌・査読状況は確認していません）。
86件の新しい面接を使ったロック済みの解析では、事前登録した予測6件のうち5件が支持され、分散は採点対象13.0%・モデルの選択26.2%と同じ方向を示しました。ただしこの確認データは小規模で女性が少なく、両データは同一研究室のプロトコルに従っています。変わったのは対象者・面接者・書き起こしの方法であって設定そのものではないと著者が述べているため、独立した再現として強くは読めません。
自社の評価自動化では、順番を入れ替える
ここからは本記事の判断です。論文は評価設計の手順を指示していません。
研究から流用できるのは数値ではなく、測る順番です。通常は「精度の高い構成を選ぶ → 運用する」の順ですが、これを入れ替えます。
- 判定の一致を先に測る。 構成を2つ用意し、同じ対象に当てて食い違いの割合を見る
- 拾い上げる件数を見る。 精度指標ではなく、実際に何件が線を越えるかを数える
- そのうえで精度を見る。 一致と件数が許容範囲に収まった構成の中から選ぶ
- 構成を固定して記録する。 モデル名だけでなく、指示文の文面と回答形式も記録対象にする
4番目が実務では抜けやすいところです。文面と回答形式だけで13%以上の分散が説明されていたなら、それらはモデル名と同じ重みの設定項目です。「同じモデルを使っている」は、同じ採点者を使っていることを意味しません。
判定を正答率だけで選ぶ危うさについては検出精度と校正は別の話である、評価の枠組みの作り方が結論を動かす構図は監査の設計が判定を決める、役割の指示が出力の偏りに引き継がれる論点はロールプロンプトはバイアスまで継承するで扱っています。AUC そのものの読み方は判別分析の基礎が入口になります。
一致を1日で測る最小の手順
構成間の一致は、ラベルが無くても測れます。正解が無くても、2つの構成が同じ結論を出すかは数えられるからです。
分母と分子を先に固定します。
- 分母： 評価した対象の件数
- 分子： 2つの構成で判定が一致した件数
- 単位： 一致率（％）
手順は4つです。
- 評価対象を30件用意し、合否や段階の判定基準を文章で固定する。 基準が固まらないうちは測っても解釈できません
- 構成Aと構成Bを作る。 違いは1点だけにします（例：モデルだけを変える、または指示文の文面だけを変える）
- 両方で30件を判定し、一致率を出す。 不一致の件を取り出して並べます
- 不一致の件に人が判定を付ける。 どちらが正しいかではなく、人でも判断が割れるのか、一方が明確に誤りかを見ます
4番目で「人でも割れる」ものが多ければ、評価基準そのものが曖昧だということです。この場合、構成を変えても一致率は上がりません。一方が明確に誤りであるものが多ければ、構成の選択の問題です。 打つ手が分かれます。
最初に見るべきは一致率の水準ではなく、変えた1点で一致率が動くかどうかです。文面を変えただけで動くなら、その評価は文面に依存しています。その依存を記録しないまま運用すると、誰かが文面を整えた日に判定が変わります。
判断の土台として押さえておくこと
- 点数のばらつきは、採点対象より採点する側の構成で決まることがある。この研究ではモデルの選択30.0%に対し採点対象の差は10.5%だった
- 採点者側の成分はノイズではない。モデル・文面・回答形式という系統的な選択であり、複数回平均しても消えない
- AUC は順序づけの質、拾い上げる人数は水準のずれで決まる。別の量なので、一方から他方は導けない
- 精度が高い構成に絞っても、2つを引けば判定が食い違う対象が残る。精度と一致は別に測る
- 校正は水準のずれを直せるが、個別の対象についての合意は別に確保する必要がある
- 示された数値は転用できない。転用できるのは、ばらつきの所在を分解して測るという手順である
- 構成の記録はモデル名だけでは足りない。指示文の文面と回答形式も設定項目として残す
- 自社で測るなら一致率（分母＝評価件数、分子＝2構成で一致した件数、単位＝％）から。正解ラベルが無くても測れる
参考資料・引用元
- Baihan Lin, "Language-model ratings of depression reflect the rater more than the patient", arXiv:2610.08501（2026年10月6日 v1 投稿、cs.CL / cs.AI / q-bio.NC、査読状況は未確認）. https://arxiv.org/abs/2610.08501 （2026年10月18日確認・HTTP 200）
- 同論文 HTML 版（本文・補足表）. https://arxiv.org/html/2610.08501v1 （2026年10月18日確認・HTTP 200）