2026年10月8日に、OpenAIの評価ガイド、OWASP LLM06:2025、NIST AI 600-1を再読しました。OpenAIは、早い段階からタスク固有評価を行い、実利用の分布、ログ、人の採点との調整、保持したデータ、継続評価を組み合わせます。OWASPは過剰な機能・権限・自律性を危険の根因とし、必要最小限の拡張と高影響操作の独立承認を勧めています。新人という比喩は、資料・評価・権限を限定する運用条件へ戻して使います。
AIを「優秀な新人」と考えると、目的も資料も渡さずに「いい感じに」と頼む難しさを説明できます。ただし、AIが人間と同じように理解し、経験だけで育つという意味ではありません。
資料と指示を整えることは大切ですが、モデルの能力や限界、用途、接続ツールの違いも残ります。この記事では新人の比喩を、仕事を任せるための具体的な運用に置き換えます。
30秒で要点
- 栄養・規律・評価・権限は、資料、指示、確認、操作範囲を点検する四観点です。
- 新鮮さ・一貫性・粒度と、目的・読者・禁止・判定・不明点の扱いを具体化します。
- 明確な指示でも、誤りや矛盾がなくなる保証はありません。根拠と用途に合う評価を確認します。
- 指示書や例外集を直すことと、モデルの学習で重みを変えることを分けます。
新人の比喩が役立つ範囲を決める
Googleの機械学習の説明は、データからモデルを学習する仕組みと、生成AIの入出力を扱います。用語集の推論・重みの項目では、学習は重みを決める処理、LLMの推論は学習済みモデルが入力に応答する処理として区別されています。仕事の指示書を渡して回答を得ることを、その都度モデルを育成して重みを更新したこととは扱いません。会話の記憶や参照資料、学習へのデータ利用は、使う製品の設定と方針を別に確認します。
NISTの生成AIプロファイルの§2.2は、根拠のない内容や引用を確信的に出力する問題を扱い、§2.7は人間化や過信を含む人とAIの関係を扱います。新人の比喩を、理解力や信頼性の保証にしないことが大切です。四つの運用観点に置き換える
表が収まらない場合は、横にスクロールできます
| 比喩の言葉 | 業務でそろえるもの | 確認する問い |
|---|---|---|
| 栄養 | 正式な資料と必要な条件 | 何を、いつの情報として参照するか |
| 規律 | 目的・読者・制約・不明点の扱い | どんな出力を求め、何を補わないか |
| 評価 | 根拠の照合と用途別の試験 | 何を確かめ、何は未確認か |
| 権限 | 入力と操作の許可、担当 | どこまで任せ、誰が確定するか |
これはFirst byteの整理案です。四つがそろえば性能が決まる、失敗の大半は入力のせいだ、という原因の割合は示していません。モデルの限界や用途に合わない使い方も調べます。
栄養：資料の新鮮さ・一貫性・粒度をそろえる
表が収まらない場合は、横にスクロールできます
| 条件 | 作業前に記録すること | 不足した場合の例 |
|---|---|---|
| 新鮮さ | 正式な参照先、公開・更新日、確認日 | 旧料金や廃止済みの条件を案内する |
| 一貫性 | 対象、適用条件、例外、矛盾の解消担当 | 部署ごとの説明を同じ条件だと混ぜる |
| 粒度 | 読者が判断するために必要な詳細 | 一般論で、対象プランや除外条件が分からない |
例えば料金案内なら、価格だけでなく対象プラン、適用期間、追加条件、例外まで渡します。二つの正式資料で説明が違うなら、AIに都合のよい方を選ばせず、担当が対象や更新時点を確認します。更新日が新しいだけで、目的に合う根拠とは限りません。
資料の入口を一つにまとめるときも、全ての文書を複製する必要はありません。正式な参照先、更新担当、確認日、例外へのリンクをまとめます。不要な情報を入力せず、必要な範囲を特定します。
規律：五つの前提を言葉にする
表が収まらない場合は、横にスクロールできます
| 項目 | 書くこと | 料金案内の架空例 |
|---|---|---|
| 目的 | 何の判断や行動を助けるか | 適用条件を読者が確認できる説明 |
| 読者 | 誰に、何を知っている前提で伝えるか | 初めて利用を検討する人 |
| 禁止事項 | 根拠や許可のない内容・操作 | 新しい価格の決定、成果保証、送信 |
| 判断基準 | 良い出力を具体的に点検する条件 | 価格と対象・例外・確認日を混同しない |
| 不明点の扱い | 質問、保留、限定などの方法 | 資料の矛盾は質問し、推測で断定しない |
五項目は編集上の出発案です。必要なら追加します。指示を詳しくすれば急に正確になる、曖昧ささえなくせば誤りが消える、という保証はありません。
一枚の前提ドキュメントから始める
ブランド方針、口調、用語、事実ソース、禁止事項をまとめるという元の考え方を、確認可能な指示書にします。
表が収まらない場合は、横にスクロールできます
| 指示書の欄 | 記入例 |
|---|---|
| 目的・読者 | 初めて利用する人に、料金と適用条件を説明する |
| ブランド・口調 | 比較をあおらず、根拠の範囲で明確に伝える |
| 用語 | 社内の重要語と、読者向けの説明をそろえる |
| 事実ソース | 正式な公開資料、確認日、対象、例外の参照先 |
| 禁止・不明点 | 架空の数値、価格決定、成果保証を避け、矛盾は質問する |
| 作業と担当 | 下書きまでを依頼し、照合・編集・公開の担当を指定する |
一枚にしたら終わりではありません。参照先が変わった、例外が増えた、読者が誤解したなどの情報を残して見直します。「毎回同じ新人」になる保証ではなく、同じ条件で確認しやすくするための運用です。
前提設計の四ブロックでも点検できます。A：目的は仕事と成功条件、B：制約は情報と許可・責任、C：現状は資料と例外、D：判断基準は良い出力とNG、不明点の扱いです。前提設計の全体像と合わせて、自社の条件に置き換えてください。
評価：普通の例だけで任せる範囲を決めない
OpenAIの評価設計ガイドは、用途に合う評価データ、目的と指標、人の判断による校正、継続した評価を扱います。通常の例に加え、境界や不利なケースも含めます。ここではその方法論を参照し、特定の評価サービスやAPIの操作手順は扱いません。料金案内なら、通常のプラン、古い資料、条件の矛盾、例外対象、根拠のない質問、許可していない送信依頼などを確認します。何を入力し、どの資料で照合し、どの出力を許容しないかを先に書きます。
架空20例：18合格でも重要な未確認は残る
次は実モデルの測定ではなく、件数と判断を分ける教材例です。事前に用意した20例を、人が同じ基準で確認したとします。
表が収まらない場合は、横にスクロールできます
| 状況 | 件数 | 全20例を分母にした割合 |
|---|---|---|
| 設定した条件を満たした | 18例 | 18/20＝90% |
| 重要な根拠や条件が未確認 | 2例 | 2/20＝10% |
| 合計 | 20例 | 100% |
合格率90%でも、重要な未確認2例があれば適用範囲を保留する例です。その2例を自動的に「失敗」と確定したり、残りの全業務へ成功率90%を当てはめたりしません。対象、件数、条件、重要度、未確認の理由を分けて記録します。資料や指示、モデル、ツールを変えた場合も、必要な評価を見直します。
NISTのMEASURE2.5も、狭い非系統的な評価から性能を広く外挿しないこと、生成した出典を確認することを示しています。合格率だけで公開や外部操作を許可しません。
権限：下書きと実行を分ける
読む、変更する、削除する、送る権限は別です。OWASPのExcessive Agencyを参考に、必要な機能と権限に限定し、影響の大きい操作は必要な人の承認へ回します。
NIST AI RMF1.0のGOVERNが扱う役割・責任・人の監督も踏まえ、誰が資料を管理し、照合し、確定するかを決めます。具体的な境界と依頼書はAIに任せる範囲の決め方を参照してください。三つの失敗を、運用の見直しに変える
表が収まらない場合は、横にスクロールできます
| 失敗の候補 | 見直すこと | それだけでは言えないこと |
|---|---|---|
| 資料が散らばる | 正式な参照先の入口と更新担当を決める | 一か所に集めれば内容が正しくなる |
| 例外が共有されない | 対象条件と例外、確認理由を記録する | 例外集があればAIの誤りがなくなる |
| 判定が曖昧 | 根拠・条件・NG例を具体化し、人の判断も照合する | チェック表だけで全用途に任せられる |
AIの誤りを全て入力不足のせいにしません。参照情報の問題、指示の問題、モデルやツールの限界、評価漏れを分けて調べます。
記録を直すことと、モデルを学習させることを分ける
失敗を記録したら、指示書、正式な参照先、例外集、評価例のどれを変えるかを決めます。それは運用を改善する作業です。ログを保存しただけで、モデルの重みが自動で学習されたとは言えません。
会話の記憶、資料の検索や参照、ファインチューニングなどの学習は、別の仕組みとして扱います。使う製品の設定やデータ利用方針を確認し、保存・参照と学習を混同しません。改善した指示書も、次の評価で確かめます。
まず一つの仕事で資料と指示書をそろえ、重要な不明点を残して下書きを作り、根拠と用途別の評価を確認します。質問の設計、AIレビュー、文章品質管理、例外集をつないで、任せられる条件を更新してください。