メインコンテンツへスキップ
ブログ一覧に戻る
AI活用・LLM

生成AIを使うと若手は育つのか|特許弁護士133人の試験で分かれた「AIありの成績」と「AIなしの判断力」

2026年10月25日
15分で読めます

この記事でわかること

AIを使えば若手の戦力化が早まるのか、それとも頼りすぎて育たないのか。どちらを信じるか決めきれていない方へ。米国の特許弁護士133人を対象にした3か月のランダム化比較試験は、この2つを別の時点・別の課題で測りました。測り分けの設計と、若手に起きた二極化をどう読むかを整理します。

同じ現場から、正反対の話が出てきます。「AIを入れたら若手の立ち上がりが早くなった」と「AIに頼らせると育たない」。どちらも実感に基づいていて、どちらも嘘ではなさそうに聞こえます。

この食い違いを、最初は温度差の問題だと考えていました。推進したい人と慎重な人がいて、同じ現象の別の面を見ているのだろうと。

しかし測り方を見直すと、食い違いの正体はもっと素朴でした。2つの主張は、違うものを測っています。 前者が測っているのは「AIを使っているときの成果物の質」で、後者が心配しているのは「AIがないときに判断できるかどうか」です。この2つは同じ人について同時に測れますが、同じ数字では測れません。

だとすれば、問いの立て方が変わります。「AIは若手を育てるか」ではなく、「何を測ったときに育ったと言うことにしているのか」です。

本記事は、この2つを実際に別の時点・別の課題で測ったランダム化比較試験を扱います。差別化の軸をここに置きます。扱うのは測り分けの設計であり、依存の心理や技能論そのものではありません。AIに頼ることで自信や判断がどう動くかは「AIに任せた」人ほど自信を失う|1,923人調査が示す依存と判断力の関係に、技能の中身が何に変わっていくかは「作る人」から「確かめる人」へ——AIが先に変えたのは、仕事量ではなく技能の中身に預けます。

30秒で要点

  • 「AIありの成績」と「AIなしの判断力」は別の指標である。この試験は別の時点・別の課題で両方を測った
  • AI使用中の起案品質は10日で0.34標準偏差、90日で0.38標準偏差上がり、伸びは若手で大きかった
  • 3か月後のAIなしの課題では、処置群が 0.32標準偏差上回ったが、その優位は上級者に集中(0.45標準偏差)。若手には平均的な差が無かった
  • 若手に起きたのは低下ではなく二極化。中位のスコアが大幅に減り、その分だけ低いスコアと高いスコアが増えた
  • 著者の解釈は「一部には踏み台、一部にはクッション」という仮説の言い方である。結論として扱わない

測った対象と、測っていない対象

参照するのは David Autor ら7名の「Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting」です(NBER Working Paper 35720、DOI 10.3386/w35720。Issue Date 2026年9月、Revision Date 2026年10月。旧版として2026年9月3日版が併記。2026年10月24日に抄録・書誌情報・開示事項を取得して確認)。

これはNBERのワーキングペーパーであり、査読誌に掲載された論文ではありません。 本記事は「査読済みの研究が証明した」という書き方をしません。

設計はこうです。事前登録された3か月間のランダム化比較試験——参加者をくじ引きのように無作為に2群に分け、一方にだけ処置を与えて差を見る方式——で、米国の知的財産法律事務所11社の現役特許弁護士133人にカスタムのAI特許起案アシスタントへのアクセスを与えました。測ったのは2つ——AIを使用している間の成績と、その後AIなしで測った専門的判断です。すべての成果物は盲検化された専門の特許弁護士が採点しました。

ここで先に書いておくべきことがあります。本記事が参照できたのは抄録・書誌情報・開示事項だけで、本文PDFは読んでいません。 そのため、次のことは書きません。若手と上級の定義、処置群と対照群の人数内訳、対照群が3か月間何をしていたか、採点の尺度と採点者数、AIアシスタントの機能や基盤モデル名。抄録は "a custom AI patent drafting assistant" としか書いておらず、モデル名は記載されていません。補いません。

AIを使っているあいだは、若手のほうが伸びた

まず1つめの指標です。基準となる特許起案課題の品質は、AIへのアクセスによって 10日時点で0.34標準偏差、90日時点で0.38標準偏差高くなりました。そして伸びは若手弁護士でより大きかったと報告されています。

数値の単位を押さえます。標準偏差(SD)とは、採点されたスコアのばらつきの大きさを1単位として表す目安です。「0.34標準偏差上がった」は、ばらつき1つ分の約3分の1だけ分布が上にずれたという意味で、パーセントではありません。「34%向上」ではありません。

この結果だけを見れば、冒頭の「AIを入れたら若手の立ち上がりが早くなった」は裏づけられます。実際に早くなっています。

そして、ここで止まるのが実務の普通です。成果物の質は、納品物を見れば測れます。 測るための追加の工数がかかりません。

AIを外して測ったとき、優位は上級者だけに残った

3か月後、全被験者がAIなしで既存の特許出願をレッドライン(添削)する課題を実施しました。論文はこれを「専門的判断を要する特許実務の中核的な課題」と位置づけています。

結果はこうです。処置群は対照群を 0.32標準偏差上回りました。ただし、この優位は完全に上級弁護士に集中していました(0.45標準偏差)。若手弁護士には平均的な差が無かったと報告されています。

ここで、最も誤りやすい読み方を止めておきます。「若手の能力が下がった」という結果ではありません。

抄録が書いているのは、若手のスコアが二極化したことです。中位のスコアが大幅に減り、その分だけ低いスコアと高いスコアが増えた——という分布の変化です。平均に差が無く、ばらつきが広がったという形です。

「平均的な差が無く分布が広がった」ことと、「処置によって能力が低下した」ことは別の主張です。後者は、公開されている抄録から読み取れません。そして二極化の内訳——何人がどちらに動いたか——も抄録には書かれていないため、ここでは出しません。

有意性についても線を引きます。抄録では効果量の隣に (0.34 SD, ? = 0.03) という形で数値が併記されていますが、この数値が何の指標かを示す記号が、配布されている抄録テキストで失われています。 NBER公式ページと独立のミラー(RePEc)の両方で同じく ? と表示され、HTMLソース上もASCIIの疑問符です。文字化けではなく、配布テキスト自体で記号が落ちています。

したがって、併記されている値は 0.03 / 0.01 / 0.04 / 0.02 ですが、それがp値であることは確認できていません。 本記事は「p = 0.03」「有意だった」と書きません。判断の根拠は、効果量と設計(事前登録・ランダム化・盲検採点)のほうに置きます。

著者の解釈は、結論ではなく仮説である

若手の二極化について、著者らはこう解釈しています。AI支援が一部の若手には踏み台(springboard)として、別の一部にはクッション(cushion)として働いたことを示唆する、と。

そして結論の趣旨は、基礎的な専門性が、AI支援された実践から持続的な技能を引き出すための前提条件かもしれない、というものです。

言い方に注目してください。原文は "suggesting"(示唆する)と "may be"(かもしれない)です。著者自身が仮説の言い方をしています。 本記事もこれを結論として扱いません。

扱わない理由は慎重さのためだけではありません。この仮説が正しいかどうかで、取るべき対応がまったく変わるからです。もし基礎的な専門性が前提条件なら、順序の設計(何を身につけてからAIを渡すか)が問題になります。もしそうでないなら、問題は別のところにあります。どちらかを決めてしまうと、決めた側の対応だけが検討されます。

なお、この試験は「AIを使わせるべきかどうか」を検証していません。処置はアクセスの付与です。したがって「若手にAIを使わせるべきでない」という処方も、この試験からは出てきません。

誰が実施し、誰が資金を出したか

結論だけを持ち運ぶと落ちる情報があるので、ここに置きます。

この研究はGoogleが実施し、参加者はGoogleの研究手続きの下で同意しました。実験の直接費用もGoogleが提供しています。 7人の著者のうち、Rodchenko・Iscenko・Strand・Pearl・Ferere の5人はGoogleの常勤従業員(うち複数が株式報酬またはGoogle株の保有を申告)、Martin はGoogleとの有償の業務委託関係を申告しています。Autor は Google Technology and Society Visiting Fellows Program 他からの支援を申告しています。MITの人間被験者委員会は「MITは本研究に関与していない」と判断したため、MITの倫理審査は不要とされました。

この構図を省いて結論だけを紹介することはできません。一方で、「だから結果が信用できない」と断ずる根拠もありません。 同じ論文には、設計上の担保が並んでいます。AEA RCT Registry に AEARCTR-0015823 として 2025年5月21日に事前登録されており(名称は "AI & Expertise research with patent lawyers")、割り付けはランダム化され、採点は盲検化された外部の専門家が行っています。

事前登録は、結果を見てから仮説を変えることを防ぐ手続きです。盲検採点は、採点者が処置群・対照群のどちらかを知らずに採点することです。利害関係があることと、設計上の担保があることは両立します。 両方を並べて、どちらも落とさないのが読み方です。

なぜ「AIありの成績」だけで育成を判断してしまうのか

ここまでの区別をしても、現場の評価は成果物の質に戻りやすい。理由は、測定のコストと時間の非対称にあります。

AIありの成績は、仕事そのものから測れます。 納品物があり、レビューがあり、スコアを付ける機会が業務の中にあります。追加の課題を作る必要がありません。

AIなしの判断力は、わざわざ測らないと測れません。 この試験が3か月後にAIなしのレッドライン課題を実施したのは、そうしなければ測れないからです。業務の中で「AIを使わずにやってみて」と頼む場面は、普通は作られません。作れば作業は遅くなり、品質も落ちます。

測れるものだけで評価すると、評価の対象が「AIありの成績」に寄ります。 そして寄ったあとは、育成の成否も同じ指標で語られるようになります。この置き換えは誰かの意図ではなく、測定コストの差から自然に起きます。

もう1つは、言葉の問題です。「育った」という表現は、どちらの指標を指しているかを明示しません。成果物が良くなったことも「育った」と言えるし、AIなしでも判断できるようになったことも「育った」と言えます。 区別する語彙がないので、会議では同じ語で両方が語られ、食い違いが温度差に見えます。

AIの助言が判断精度にどう効くかという別の角度の検証はAIを信頼している人ほど、AIの助言があると判断精度が落ちる|295人の実験で、任せる範囲をどう決めるかはAIに任せる範囲の決め方で扱っています。なおAIは優秀な新人は「AIを優秀な新人として扱う」という比喩の記事で、本記事が扱っているのは人間の若手の育成です。 比喩と実体は別なので、混ぜずに読んでください。

若手の育成を評価するときの判断軸

判断軸は1つです。「育った」と言うときに、AIを外して測ったのか、外さずに測ったのかを明示する。

これだけで、冒頭の食い違いは食い違いでなくなります。「AIを入れたら立ち上がりが早くなった」はAIありの指標の話で、「頼らせると育たない」はAIなしの指標への懸念です。両方を同時に主張することは、矛盾ではありません。

そのうえで、この試験から持ち出せる考え方が1つあります。2つの指標が同じ向きに動くとは限らないということです。この試験では、AI使用中の伸びが大きかったのは若手で、AIなしの課題で優位が残ったのは上級者でした。伸びが大きかった層と、残った層が違っています。

逆に、持ち出せないものも明確です。「だから若手にはAIを渡さない」という処方は出てきません。 試験が検証したのはアクセスの付与であり、使用の是非ではありません。若手のスコアは二極化しており、上に動いた人も増えています。一律の処方は、どちらの側の若手にも合いません。

そして範囲の確認です。対象は米国11事務所の特許弁護士133人による特許起案とレッドラインのみです。他職種・他国・他業務への拡張は仮説です。 自社の職種で同じことが起きるかどうかは、この試験からは分かりません。

手元で試せる最小の確認

自社について1つだけ確認できます。

直近に「あの若手は伸びた」と判断した材料を、1つ思い出して分類する。

その材料は、AIを使って作られた成果物でしょうか。それとも、AIを使わない場面での判断でしょうか。提出された資料、レビューで指摘が減ったこと、作業が速くなったこと——これらはたいてい前者です。

後者に当たる材料がゼロなら、現状の評価は「AIありの成績」だけで行われています。 これは悪いことではありません。ただし、その評価から「AIがなくても判断できるようになった」を読み取ることはできません。

もし後者も測りたいなら、必要なのは大がかりな仕組みではありません。完成品ではなく、判断そのものを見る機会を1つ作ることです。 他人が作った成果物に対して、どこに違和感があるかを先に言わせる。この試験がAIなしのレッドライン課題を選んだのは、添削が判断を要する課題だからでした。同じ構造の機会は、多くの職種で作れます。

確かなことと、確かでないこと

確かなこと(2026年10月24日に抄録・書誌情報・開示事項を取得して確認した範囲):事前登録された3か月のランダム化比較試験であること。対象が米国11事務所の特許弁護士133人であること。AI使用中の起案品質が10日で0.34標準偏差、90日で0.38標準偏差上がり、伸びが若手で大きかったこと。3か月後のAIなしのレッドライン課題で処置群が0.32標準偏差上回り、優位が上級者に集中(0.45標準偏差)し、若手に平均的な差が無く分布が二極化したこと。著者の解釈が「踏み台/クッション」であり、前提条件の指摘が "may be" の言い方であること。事前登録番号と登録日。Googleの実施・資金提供と著者の雇用関係。

確かでないこと:これはワーキングペーパーであり、査読誌掲載論文ではありません。抄録に併記された 0.03 / 0.01 / 0.04 / 0.02 がp値であるかどうかは、確認できていません。本記事は有意性に判断の根拠を置いていません。

本記事が書いていないこと:若手と上級の定義、群ごとの人数、対照群が3か月間何をしていたか、採点尺度と採点者数、AIアシスタントの機能と基盤モデル名、二極化の人数内訳。いずれも本文PDFを読んでいないためです。また「AIを使うと若手のスキルが低下する」とは書いていません。示されたのは平均差の不在と分布の二極化です。

育成の評価に迷ったときに立ち返る問い

立ち返りたいのは、「この評価は、AIを外して測ったのか」という問いです。外していなければ、分かるのは成果物の質までです。それは十分に有用な情報で、事業にとっては成果物の質こそが先に必要なこともあります。ただ、それを「本人の判断力が上がった」と読み替えるところで話が飛びます。

もう1つは、「伸びた層と、残る層は同じだと仮定していないか」という問いです。この試験では、2つが一致しませんでした。一致しない可能性を持っておくだけで、「AIを入れたら若手が育った」という報告を受けたときに、次に何を見ればよいかが決まります。

育成の設計は、AIを入れるか入れないかで決まるものではないようです。何を測るかを先に決めたかどうかで、同じ3か月が違う結果として記録されます。測る対象が1つしかない状態では、入れたことの評価も、入れなかったことの評価も、同じ精度でしか出てきません。

参考資料・引用元

  • Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting(David Autor, Tanya Rodchenko, Josh Martin, Zanna Iscenko, Scott Strand, David Pearl, Melissa Ferere、NBER Working Paper 35720、DOI 10.3386/w35720。Issue Date 2026年9月/Revision Date 2026年10月。査読誌掲載論文ではなくワーキングペーパー。研究はGoogleが実施・資金提供。2026年10月24日に抄録・書誌情報・開示事項を取得して確認)
  • 事前登録:AEA RCT Registry、AEARCTR-0015823「AI & Expertise research with patent lawyers」、2025年5月21日登録。本記事は登録内容そのものを取得しておらず、番号・名称・登録日はいずれも上記ワーキングペーパーの記載による

よくある質問(FAQ)