新人に図版を作ってもらうと、情報が詰まりすぎたものが返ってくる。想定読者が社内の人になっている。言葉では説明しにくいので、過去の良い例を何本か渡して「こういう感じで」と伝える。
同じことがAIでも起きます。参照用の資料を渡し、過去の成果物を見せ、それでも返ってくるものが微妙に外れている。情報量が多い。語り口が違う。どこが違うのかを説明しようとすると、言葉に詰まります。
最初は、能力の差だと考えていました。慣れていないから外す。学習が足りないから外す。だとすれば、渡す資料を増やせば近づくはずです。
しかし参照した2つの報告を読むと、その見立ては怪しくなります。資料は足りていたのに外されたという報告と、研修の効果が翌月以降には見られなかったという報告です。本記事が立てる仮説はこれです——外されているのは能力の不足ではなく、組織の側が言語化していない基準なのではないか。
この見立てが当たっているなら、起きる失敗は具体的です。出力が外れるたびに参照資料を足し、指示文を長くし、それでも外れ続ける。やがて「このツールは使えない」あるいは「この人は分かっていない」という結論に着地する。基準が言語化されていないという可能性は、最後まで検討されません。
本記事は暗黙の基準がどこで止まるかという問いに絞ります。AI導入の効果測定や投資判断は「AI導入してます」の実態を測る3層とAI導入の効果は「一人あたり」か「全体」かで扱っているため、ここでは繰り返しません。ツールの選定や比較も扱いません。
30秒で要点
- ある研究機関は、十分な参照資料を与えてもモデルが自社の基準を習得できなかったと報告している。取り落とされたのは視覚的スタイルや読者が関心を持つ題材の種類といった暗黙の慣習だった
- 渡されていた資料は乏しくなかった。参考図版を含むページと、数か月分の設計作業・配色・設計指針・雛形・再利用可能な部品を含む設計ファイルが与えられていた
- 同機関は、よく定義された作業では最良のモデルが信頼できる一方、実際の仕事を駆動する判断の面では一貫して及ばないと結論している
- 別の論文（査読前のプレプリント）は、1社・約4,000人・15機能領域・8か月の観察から、洗練度は正式な研修を受けた月には高いが、その後の月には高くないと報告している。「上がらなかった」ではなく「持続しなかった」である
- その洗練度は業務成果の測定ではなく、会話記録を大規模言語モデルに判定させて作った構成概念である
- したがって言えるのは「教えれば伝わる」という前提が自明ではないということまでで、「研修では伝わらない」ではない
- 本記事の仮説は、暗黙の基準は資料の量では伝わらず、基準が差として現れる形でしか渡らないのではないか、というものである。検証は読者の組織に残る
参照資料は足りていた、という報告
最初の情報源は、ある研究機関が自らの業務でモデルを評価した報告です（Epoch AI が公開した評価レポート、2026年10月21日に取得して確認）。
主要な発見として挙げられているのは次の内容です。モデルは、十分な参照資料を与えられてもこの機関の基準を習得するのに苦労する。視覚的スタイルや、自分たちの読者が関心を持つ題材の種類といった暗黙の慣習を取り落とすか、あるいは通常の仕事より情報密度の高い出力を作ってしまう、と。
本文側の記述はさらに踏み込んでいます。共通して見られたパターンの1つは、十分な参照資料を与えられたにもかかわらず基準を習得できないことであり、これらのモデルは人間なら拾うはずの暗黙の慣習を一貫して取り落とした、と書かれています。
ここで注目したいのは、資料の量についての記述です。図版生成の作業では、参考図版を含む自社の更新ページへのリンクと、数か月分の設計作業・配色・設計指針・雛形・再利用可能な部品を含む設計ファイルへのリンクが与えられていました。節の見出しは「モデルは例から一般化できる規則を学べない」という趣旨のものです。
つまりこの報告は、資料が足りなかったという説明を自ら塞いでいます。 足りないものが資料の量ではないなら、他に何が足りないのかという問いが残ります。
同機関の結論はこうです。性能の高い非公開重みのモデルは、コーディング・データ分析・コンピュータ操作といったよく定義された作業では信頼できる。しかし実際の仕事を駆動する判断の面では一貫して及ばない、と。研究上の判断については、有益な実験を設計することに苦労し、欠陥のある設定から得た結果を主要な発見として提示することが多かったとも書かれています。
この評価が保証していない範囲
ここは先に区切っておきます。同機関は4つの限界を自ら明記しています。
第一に、作業数が限られており各モデルを1回しか実行していないため、スコアはノイジーであり、あらゆる業務にわたってAIが何をできるかの一般的な尺度として読むべきではないとしています。
第二に、評価基準の多くが主観的な判断を含むため、数値を真の値として扱うべきではなく、著者自身が定性的な所見のほうが有益だと考えていると述べています。
第三に、作業はこの機関の仕事に範囲が限られており、すべての業務を代表するものではないとしています。
第四に、各モデルを自前の実行環境で試しているため、観察された差がモデルではなくその実行環境を反映している可能性があるとしています。
したがって本記事では、モデル間の優劣やスコアの数値を一切使いません。使うのは「十分な資料を与えても暗黙の慣習が取り落とされた」という定性的な所見だけです。これは著者自身が、数値より定性的所見のほうが有益だと述べている読み方に沿っています。
研修について、原文はどう書いているか
2つめの情報源は、1社の利用ログを解析した論文です（arXiv:2608.27364、本文はHTML版で2026年10月21日に確認。2026年8月27日投稿、DOI 10.48550/arXiv.2608.27364）。査読前のプレプリントです。
データの規模は明確です。約4,000人のバックオフィス従業員、15の機能領域、2025年の8か月間にわたる713,564件のプロンプトと、それに対応する応答です。
ここで正確に押さえるべき記述があります。原文はこう書いています。時間を通じた体系的な改善はほとんど観察されない。洗練度は正式な研修を受けた月には高いが、その後の月には高くない、と。
この違いは小さくありません。「研修を受けても洗練度は上がらなかった」と要約すると、研修に効果が無かったという主張になります。原文はそう書いていません。回帰の記述では、より長い最初のプロンプト、より多い反復、そして当月に研修を完了したことの3つが、洗練度の指標と一貫して正の関連を示す変数として挙げられています。
言えるのは、効果が観察された月に限られていたということです。著者は要旨で、時間を通じた洗練度の改善も、正式な研修後の持続的な改善も観察されず、洗練された使い方は変えにくいことを示唆する、と述べています。
因果については断定できません。これは1社の観察データにおける関連の記述であり、研修が原因で何かが起きた（あるいは起きなかった）ことを同定した設計ではありません。
その「洗練度」は、何を測った数字なのか
この論文の中心的な指標について、測り方を確認しておく必要があります。数字が動かなかったという話をする前に、何が動かなかったのかを決めておかないと、読み違えが起きます。
論文の定義では、洗練された生成AIの利用とは、道具がどう動くか・どこに適用できるかの理解に裏打ちされた熟達した利用を指します。
測り方はこうです。各会話記録を指示文とともに大規模言語モデル（膨大な文章から学習した、文章を生成する仕組み）へ投入する。指示文は、その会話の用途、指示の出し方、その他の洗練された利用の特徴を、構造化された判定規則を使って特定するようモデルに命じる。判定に使うモデルは複数検討されたうえで、最終的に OpenAI o1 が採用されたと書かれています。合成指標は、組織性・具体性・制約の設定の有無・構造化出力の要求を含む9変数の標準化値を結合し、その結果をさらに標準化したものです。
ここから分かるのは2つです。
第一に、これは直接観測された行動指標ではなく、判定を経た構成概念です。判定するのはモデルであり、判定規則は人が設計しています。
第二に、これは業務成果の指標ではありません。 売上、品質、所要時間を測ったものではありません。したがって「洗練度が持続しなかった」という所見は、「研修が業務成果に効かなかった」という意味を持ちません。
分母と分子で言い直すと、この指標の分母は会話記録1件、分子はその記録に対する判定値です。単位は標準化された値であり、業務の単位ではありません。
論文はこの指標で、上位職ほど洗練度が高いこと、機能領域間の差が大きく、戦略・デジタル革新・プロジェクト管理の領域で最も高いことも報告しています。
「教えれば伝わる」はどこで崩れるのか
ここからは2つの見方を並べます。どちらも、上の2つの報告と矛盾しません。
見方A：伝わらないのは受け手の能力の問題である。 新人は経験が足りないから外す。モデルは学習や文脈の扱いに限界があるから外す。この見方を取ると、打つ手は能力の側に向かいます。訓練を増やす、例を増やす、指示文を精緻にする。
見方B：伝わらないのは送り手が基準を持っていないことの問題である。 「情報が詰まりすぎている」と判断できるということは、適切な密度の基準が判断する側にはあるということです。ただしそれは文章になっていません。文章になっていないものは、資料にも指示文にも入りません。この見方を取ると、打つ手は基準の側に向かいます。
2つを分けると、条件が見えてきます。
表が収まらない場合は、横にスクロールできます
| 条件 | 見方Aが当てはまる場合 | 見方Bが当てはまる場合 |
|---|---|---|
| 基準を文章にできるか | できる。書いて渡せば直る | 書こうとすると詰まる。例でしか示せない |
| 資料を足したときの挙動 | 近づく | 外れ方が変わるだけで近づかない |
| 外す箇所 | ばらつく | 毎回同じ性質の箇所（密度・想定読者・語り口） |
| 判定の速さ | 良し悪しの判定にも時間がかかる | 出力を見れば即座に「違う」と分かる |
4行目が切り分けの要です。出力を見て即座に「これは違う」と言えるのに、何が違うかを事前に書けないとき、基準は存在していて言語化されていません。 このとき欠けているのは受け手の能力ではなく、送り手の記述です。
研究機関の報告が示したのは、資料を厚く与えても暗黙の慣習が取り落とされたという事実でした。見方Bの側から読むと、資料に入っていたのは成果物であって、基準ではなかったという解釈が立ちます。配色や雛形は成果物です。「この題材は読者が関心を持たない」という判断は、雛形には入りません。
ただし、この解釈は報告が述べたものではありません。報告は所見を述べており、原因の帰属まではしていません。ここは本記事の読み方です。
なぜ「資料を足す」が解決策に見えるのか
見方Bに行き着いても、現場で最初に取られる手は資料の追加です。理由は3つあります。
第一に、資料は在庫として存在するからです。 過去の成果物、設計ファイル、指針。すでにあるものを渡す作業は、すぐに着手できます。一方「基準を書く」作業には在庫がありません。ゼロから言葉にする必要があります。着手できる手が、着手すべき手に見えます。
第二に、暗黙の基準は本人にも見えないからです。 判断は一瞬で下るので、何を根拠に下したかは意識に上りません。見えていないものは、欠けているものの候補に上がりません。だから「自分は基準を伝えていない」という仮説は立ちにくく、「相手が拾えていない」という仮説が先に立ちます。
第三に、相手を替えると症状が消えるように見えるからです。 同じ基準を共有している人に頼むと、出力はうまく返ります。これは基準が伝わったからではなく、すでに共有されていたからです。しかし観測される結果は同じなので、伝達の問題として記録されません。
3つが重なると、資料を足し続ける運用が安定します。安定するのは、それが効かないことが観測されないからです。
暗黙の基準は、差としてなら渡るのではないか
ここで仮説を1つ置きます。これは本記事の仮説であり、検証されていません。
暗黙の基準は、良い例の集合では渡らないのではないか。渡るとすれば、良い成果物と悪い成果物の対比という形、つまり基準が差として現れる形ではないか。
理由はこうです。良い例を10本見せても、そこに共通する性質が「適切な密度」なのか「使われている配色」なのかは、見る側には決められません。一方、ほぼ同じ内容で密度だけが違う2本を並べると、差が基準の位置を指します。
この仮説は反証できます。もし対比で渡るのなら、対比を与えた場合と良い例だけを与えた場合で、外され方に違いが出るはずです。違いが出なければ、この仮説は成り立ちません。
断っておきます。これは自社の実績として述べているものではありません。2つの情報源はどちらもこの比較を行っておらず、本記事もまだ検証していません。検証は読者の組織に残ります。 次の節に、最小の確かめ方を置きます。
手元で試せる最小の確認
必要なのは1回の棚卸しです。測るのは、外され方の内訳です。
分母と分子を先に決めます。
- 分母：直近に手直しが入った成果物の件数（人が作ったものとAIが作ったものの両方を含める）
- 分子：そのうち、手直しの理由が毎回同じ性質だったものの件数（情報の密度、想定読者、語り口のような、事前に書かれていない基準に関わるもの）
- 単位：同型手直し率（％）
手順は4つです。
- 直近の手直しを10件集める。 作り手が人かAIかは区別して記録しますが、分けて評価はしません
- 手直しの理由を1行で書く。 「密度が高い」「読者が社内向けになっている」のように、直した側の判断を書きます
- 同じ性質の理由が繰り返されているかを見る。 繰り返されているなら、それが言語化されていない基準の在りかです
- その理由を、作業前に渡せる文章に書き直してみる。 書ければ、次からは渡せます。書けないなら、その基準は対比で示すしかない候補です
4番目が本題です。書けるか書けないかで、見方Aと見方Bのどちらにいるかが決まります。そして書けなかった基準こそ、資料を足しても渡らなかったものの候補になります。
人とAIで同じ理由が並ぶかどうかも、ここで分かります。並ぶなら本記事の仮説と整合し、並ばないなら整合しません。どちらに出ても、自分の組織については分かります。
確かなことと、まだ確かでないこと
確かなこと（2026年10月21日に情報源を取得して確認した範囲）：研究機関が、十分な参照資料を与えてもモデルが自社の基準を習得できず、視覚的スタイルや読者が関心を持つ題材の種類といった暗黙の慣習を取り落としたと報告していること。与えられていた資料に、参考図版を含むページと、数か月分の設計作業・配色・設計指針・雛形・再利用可能な部品を含む設計ファイルが含まれていたこと。同機関が、よく定義された作業では信頼できる一方、実際の仕事を駆動する判断の面では一貫して及ばないと結論していること。同機関が4つの限界を明記していること。論文側で、洗練度が正式な研修を受けた月には高くその後の月には高くないと記述されていること。当月の研修完了が洗練度と正の関連を示す変数として挙げられていること。洗練度が大規模言語モデルによる判定で構成された測度であること。データが1社・約4,000人・15機能領域・8か月・713,564件のプロンプトであること。
まだ確かでないこと：研修と洗練度の関係が因果であるかどうか（観察データの関連であり、同定されていません）。人間の新人とAIが同じ性質の基準でつまずくかどうか（人間を同じ手続きで測った比較データはありません。本記事の仮説です）。暗黙の基準が良い例と悪い例の対比で渡るかどうか（本記事の仮説で、どちらの情報源も検証していません）。論文の効果量や信頼区間の具体値（今回取り出していません）。
本記事が踏み込んでいないこと：モデル間の優劣やスコアの比較（著者自身が数値を真の値として扱うべきでないと述べています）。生成AI導入の効果測定の方法論。洗練度と業務成果の関係（論文はそれを測っていません）。
伝わらないと感じたときに立ち返る問い
立ち返りたいのは、「いま自分は、基準を渡したのか、成果物を渡したのか」という問いです。配色も雛形も過去の良い例も、成果物です。成果物の集合から基準を復元するのは、受け取った側の仕事になります。受け取った側がそれをできなかったとき、問題がどちらにあるかは自明ではありません。
もう1つは、「出力を見て即座に違うと分かるのに、事前に書けないものは何か」という問いです。即座に分かるのは、基準が自分の中にあるからです。書けないのは、それが言葉の形で持たれていないからです。この2つが同時に成り立っているとき、基準は存在していて、まだ共有されていないということになります。
「うちのやり方」という言い方には、やり方が存在していることと、それが「うち」の内側に留まっていることの両方が入っています。内側に留まっているものは、新しく入った人にも、新しく入れた道具にも、同じように届きません。
参考資料・引用元
- Epoch AI の評価レポート https://epoch.ai/publications/can-ai-automate-epoch （2026年10月21日取得・HTTP 200）
- Nicholas J. Hallman, Zachary T. Kowaleski, Anu Puvvada, Jaime J. Schmidt, arXiv:2608.27364（2026年8月27日投稿、cs.AI / econ.GN、DOI 10.48550/arXiv.2608.27364、査読前のプレプリント）. https://arxiv.org/abs/2608.27364 ・本文HTML https://arxiv.org/html/2608.27364v1 （いずれも2026年10月21日取得・HTTP 200）