LLM支援のコーディングでは、コードを書く速度だけでなく、提案をどう評価し、いつ覆すかという判断も変わります。この記事は、Xinyi Zhouらの「Cognitive Biases in LLM-Assisted Software Development」を、arXivのHTML本文まで確認して整理したものです。本文にはICSE 2026の書誌情報とDOIが載っていますが、ここで紹介する数値は同論文の観察研究・調査の範囲に限ります。
30秒で要点
- 研究は開発者14名の観察と、追加の開発者22名への調査を組み合わせたmixed-methods研究である
- 90件の開発者とLLMの相互作用に関する認知バイアスを、認知心理学者の検証を経て15カテゴリに整理した
- 論文は、観察した全プログラマー行動の48.8%がバイアスの影響を受け、バイアス行動の56.4%が開発者とLLMの相互作用に関係したと報告する
- Suggester Preference、Fixation、Instant Gratificationなど、提案を評価する順序・固着・短期的な満足に関わるカテゴリを扱う
- 比率は研究条件の値であり、自社の開発者・言語・ツールへそのまま外挿せない。チームではレビュー経路を別に測る
表が収まらない場合は、横にスクロールできます
| 用語 | 意味 |
|---|---|
| Suggester Preference | LLMが提案した解を、十分に検討する前から優先しやすくなるカテゴリ |
| Fixation | 最初の提案や計画から思考が離れにくくなるカテゴリ |
| Instant Gratification | すぐに得られる提案や進捗を優先し、検討を短絡させるカテゴリ |
| 反転行動 | いったん採用した方針を後から取り消す、やり直す、捨てる行動 |
何が調べられたのか
研究は、14名の学生・専門家開発者が実際にLLMを使って作業する観察セッションと、追加22名へのシナリオ調査を組み合わせています。研究者は行動・プロンプト・生成コードの説明・発話を記録し、従来の開発で使われてきたバイアス分類と、LLM支援で拡張された分類を比較しました。
90のバイアスを15カテゴリへまとめたことは、AIが単に人間の既存バイアスを増幅するかどうかだけでなく、提案を評価する順序や、コードを採用してから覆す経路を観測対象にした点に意味があります。論文の書誌情報はICSE 2026のExtended Abstractとして掲載されていますが、サンプルは限定的です。
15カテゴリを、開発の行動へ翻訳する
Suggester Preference（提案者選好）は、提案の出所がLLMであること自体が採用の理由になり、根拠や代替案の検討が薄くなる状態として読めます。レビューでは「何を満たすための実装か」「別案を捨てた理由は何か」を一行で残すと、出所と妥当性を分けて確認できます。
Fixation（固着）は、最初に提示されたコード構造や計画が、その後の探索を狭めるカテゴリです。別の設計を一度書き出してから比較する、または別の担当者が初案を見ずに要件からレビューする工程を置くと、反転の有無を観測できます。
Instant Gratificationは、すぐ動くコードや即時の進捗が、テスト・境界条件・長期保守の検討より優先される状態です。短期の採用率ではなく、後からの差し戻しや再作業を同じ記録に置く必要があります。
比率を自社の成績にしない
論文の48.8%と56.4%は、研究者が定義した行動単位・観察条件・分類手続きの値です。自社のツール、言語、経験、レビュー文化が異なれば分母も分子も変わります。数字を目標にせず、同じ定義を自社で再現できるかを先に決めます。
また、研究はバイアスの存在と分類を示したもので、コード品質や本番障害がどの程度悪化するかを一つの比率で直接示したものではありません。品質指標、再作業、レビュー時間、差し戻しを別々に追い、因果を言い切らないことが重要です。
チーム運用でできる対策
- 提案を「検討済みの結論」ではなく「たたき台」と明文化する
- AI提案を採用した理由、却下した理由、反転した理由をプルリクエストに残す
- 初案から独立したレビューを一度置き、代替案と境界条件を確認する
- 動作確認だけでなく、失敗時のテスト、権限、ログ、保守性をチェックリスト化する
- 週次で採用・反転・再作業を見返し、対策が別の偏りを生んでいないか確認する
自分のチームでも試せる、最小の検証
直近1週間のAIコーディング利用ログとプルリクエストを一つの表にまとめ、AIの提案がそのまま承認されたケース、修正や議論を経て承認されたケース、後から反転・差し戻しになったケースを数えます。論文の48.8%や56.4%を再現するのではなく、自社のレビュー経路に「出所だけで通る」箇所がないかを点検するための観測です。
判断の土台として押さえておくこと
- AI支援開発の評価軸は、生成速度や採用率だけでなく、提案を疑い、覆し、学習する経路まで含める
- 15カテゴリは研究上の分類であり、一般心理学の用語と一対一で同じではない
- 研究の比率を自社へ外挿せず、採用・反転・再作業を自社の定義で記録する
次の一手：AIコード生成ツール比較／AIエージェントの失敗パターン／AIはWeb開発をどう変えるか？
この記事で扱わなかったこと
15カテゴリの全定義や補足資料の全量、各ツール別の性能比較は扱っていません。一次論文の分類表と限界を確認したうえで、自社のレビュー設計へ翻訳する範囲に絞っています。