AIが理由を表示できることと、人がその理由を使って良い判断をできることは別です。根拠欄を追加する前に、「どの判断を、何と比べて改善したいのか」を決めておく必要があります。
この記事は、概念を介して予測するConcept Bottleneck Model（CBM）を扱った研究と、そこから着想した著者の評価案を分けて説明します。生成AIが自由文で説明する機能全般へ、そのまま結果を広げるものではありません。
30秒で要点
- 705人の研究は、二つの二値分類課題と四つの支援条件を比較しています。説明付きなら常にラベルだけの支援を上回った、という結果ではありません。
- 介入した人だけを選ぶ分析には自己選択の可能性があります。「難しさ・分かる概念・操作」の三条件を、普遍的な必要十分条件と扱わないでください。
- 導入時は人とAIを合わせた最終判断を測り、AIが正しい場合と誤る場合、正答と時間、信頼の回答を分けて比較します。
何を比較した研究か
Boganiらの論文v2の方法・結果・限界を確認しました。対象はメールの正当／詐欺判定と、二種類のスズメの識別です。条件は支援なし、予測ラベルのみ、ラベルと変更不可の概念、変更できる概念の四つ。各参加者は10件に回答し、提示するAIの正答率は80%に揃えています。表が収まらない場合は、横にスクロールできます
| 規模を読む項目 | 論文の値 | 読み違えないこと |
|---|---|---|
| 分析対象の参加者 | 363＋342＝705人 | すべて同じ課題ではない |
| 分析対象705人の回答数（項目除外前） | 705×10＝7,050件 | 一人が繰り返し回答している |
| 除外された回答 | メール1項目の91件 | 参加者91人の除外という意味ではない |
| 分析の観測数 | 7,050−91＝6,959件 | 独立した6,959人ではない |
CBMは、入力から「羽の模様」などの概念を検出し、その概念から分類を行う構造です。ここでの操作は概念値の変更で、AI全体を再学習する操作ではありません。
結果から言えることと言えないこと
メール課題では、全体の正答率についてAI支援の三条件間に有意差はありませんでした。鳥課題でも、全参加者を含む説明付き条件とラベルのみ条件の差は有意ではありません。鳥課題で操作した参加者だけを残すと差が見られますが、著者自身が自己選択の可能性を述べています。
論文は課題への不確かさ、識別しやすい概念、操作への参加を有望な条件として論じます。ただし二値分類に限定され、概念検出精度の影響を体系的には調べていません。信頼全般が必ず下がる、将来の利用継続が損なわれる、といった結論もこの記事では置きません。
arXivの版情報では2026年8月26日投稿、9月22日改訂のv2です。同ページから査読完了や学会採択は確認できません。人数の大きさだけで、自社の業務や別の説明方式への適用を決めないことが大切です。自社で確かめる三つの問い
以下は研究の再現結果ではなく、著者が提案する導入前の確認項目です。「三つを満たせば成功」という判定表にはしません。
表が収まらない場合は、横にスクロールできます
| 問い | 画面と業務で確かめること | まだ言えないこと |
|---|---|---|
| どこで人が迷うか | 誤りや保留が起きる事例を集める | 難しくすれば説明が効くとは限らない |
| 概念を確かめられるか | 元資料のどこを見れば検出を点検できるか | もっともらしい文章だけで正しいとは言えない |
| 操作が判断につながるか | 修正後の候補と最終判断を追えるか | クリック数の多さは品質の証拠ではない |
たとえば架空の申請審査では、「書類が不足」という説明が出たとき、該当欄へ戻れる必要があります。担当者が不足ではないと訂正した後も、別の必須条件が未確認なら承認を確定しないようにします。これはUIの確認例であり、法的な審査基準や実験済みの業務手順ではありません。
四段階で小さく比較する
1. 改善したい誤りを一つ選ぶ
「説明を分かりやすくする」だけでは評価が曖昧です。架空の申請なら、不備のある申請を通す誤りと、問題のない申請を止める誤りを分けます。実例を使う場合は、持ち込める情報の範囲と正解を確定する方法も先に決めます。
2. 比較条件を揃える
同じ難しさの事例で、支援なし、ラベルのみ、説明付き、修正可能な説明を比較候補にします。これは必ず四画面を本番投入するという意味ではありません。表示以外に回答時間や担当者の経験が変わるなら、その違いも記録します。
3. AIの正誤で分けて最終判断を見る
次は計算方法を示す架空の各20件です。実研究の成績ではありません。
表が収まらない場合は、横にスクロールできます
| 条件 | AI正解の16件で人も正解 | AI不正解の4件で人が修正 | 合計 |
|---|---|---|---|
| ラベルのみ | 15 | 1 | 16／20＝80% |
| 説明付き | 14 | 3 | 17／20＝85% |
差は5パーセントポイントですが、説明付きではAIが正しい場面の正答が一つ減っています。合計だけでなく、誤った提案を修正できたか、正しい提案を誤って覆したかを両方見る理由です。20件のこの例から有意差や改善の再現性は主張できません。同じ人の繰り返し回答や事例の難しさも、実評価では考慮します。
4. 続ける条件と止める条件を決める
正答率が高くても、確認時間が増えすぎる場合があります。一方で、「信頼できる」というアンケート回答が増えても、誤った提案への追従が増えるなら目的に合いません。正答、処理時間、保留、信頼の回答を別々に見て、次の改善を選びます。
一画面だけ確認するなら
元資料、AIの予測、概念の検出、担当者の訂正、最終判断を同じ事例に結び付けてください。説明を読み飛ばした人も全体比較から消さず、「機能を渡した結果」と「実際に操作した場面の様子」を分けます。小規模な確認は問題の発見には役立ちますが、本番全体の効果の証明とは別です。
判断を分けて記録する際は、診断・チェックツール一覧も入口になります。ツールの回答を研究で検証された診断結果とは扱わず、何を比較するかを決める補助として使ってください。