社内にAIを入れて数か月が経つと、効果を報告する場面が来ます。そのとき手元にあるのは、たいてい成果物です。提案資料の完成度が上がった。レポートの初稿が早く出るようになった。コードレビューで指摘される箇所が減った。どれも観察できる変化で、報告すれば「導入は機能している」と受け取られます。
最初は、これは測り方の精度の問題だと考えていました。もっと厳密な指標を立てれば、効果はより正確に測れるはずだ、という整理です。
しかし、ある授業実験の記録を読んで、整理の仕方そのものがずれていたことに気づきました。その研究は、同じ学生から2つの指標を取り出しました。支援を使いながら出した成果物の点と、支援を外した場面での点です。2つは、同じ方向には動きませんでした。
だとすれば、問題は精度ではありません。支援ありの出力を測ることは、支援を外して残るものを測ることではない——この2つを同じ「効果」という言葉で呼んでいるあいだ、精度をいくら上げても、測っていない側は記録に残りません。
扱わないものを先に置きます。AIを使わせるべきかどうかは論じません。教育論にも踏み込みません。ここで扱うのは、何を測り、その測定が何を効果として記録するかだけです。
30秒で要点
- 参照する研究は、証明を扱う学部数学の授業でAI支援へのアクセス時期をランダムにずらした観察である（2026年10月版の報告では153人）
- 早期にアクセスできた群だけが使えた期間、その群の宿題の点は2.56点高かったが、試験成績には群間の有意差が出なかった
- チャットボットへのメッセージが100通増えるごとに、その後の試験が3.02点低いという関連が報告された。因果ではない
- 自分の証明の試みを先に提出してからフィードバックを受ける仕組みの利用は、試験成績と負の関連を示さなかった。「効果があった」ではない
- 著者はチャットボット形式でのAIチュータリングを推奨せず、授業活動に埋め込まれたチューターの検討を提案している
- 同じ授業実験の先行報告2本は対象を148人と記載している。数が報告間で一致していない
- 判断軸は「成果物の質が上がったか」ではなく「支援を外したときに残る到達度を、別の指標として測っているか」
表が収まらない場合は、横にスクロールできます
| 用語 | 意味 |
|---|---|
| プレプリント | 査読（専門家による審査）を受ける前に公開される研究原稿 |
| アクセス時期の割り付け | 誰がツールを使えるかではなく、いつから使えるかをランダムに決める実験設計 |
| 関連（association） | 2つの値が一緒に動く傾向のこと。どちらが原因かは示さない |
| 有意差 | 観察された差が、偶然のばらつきで説明しにくいほど大きいこと。「差が無い」の証明ではない |
| 自己効力感 | 「自分はこれをやれる」という見込みの強さ。本人の自己評価として測られる |
| 媒介分析 | AとCの関係が、途中にあるBを経由して説明できるかを調べる分析手法 |
なぜ「成果物の質」が効果の証拠に見えるのか
AI導入の効果として成果物を見てしまうのは、怠慢ではありません。構造的な理由が3つあります。
第一に、成果物は記録が残ります。 提案書は保存されますし、レポートはファイルになります。一方、「支援なしで同じことができるか」は、わざわざその場面を作らないと記録が残りません。測れるものを測るのは、測定の自然な傾向です。
第二に、成果物の質は依頼者の満足と直結します。 社内で求められているのは、多くの場合「仕事が前に進むこと」です。前に進んだかどうかは、成果物を見れば分かります。
第三に、2つを区別する言葉を持っていません。 「できるようになった」という日本語は、支援ありの状態も、支援なしの状態も指せます。言葉が区別しないものは、報告でも区別されません。
この3つが揃うと、支援ありの出力だけを測り、その結果を「効果」として記録する運用が自然に成立します。記録に残らなかった側は、悪化していても、変わっていなくても、同じように記録に残りません。
この研究が、何をランダムにしたか
参照するのは、証明を扱う学部数学の授業を対象にした観察研究です（arXiv:2610.31481、"Supporting or Replacing Students' Reasoning? Cognitive Offloading in AI-Assisted Proof Learning"、2026年10月22日投稿。2026年10月26日に要旨を確認）。
最初に性格を押さえます。これはプレプリントであり、査読誌に掲載された研究ではありません。 公開ページに journal reference（掲載誌情報）の記載はありません。したがって、査読を通った知見として扱うことはできません。
設計の核心は、何をランダムにしたかです。学生は、AIチャットボットと宿題フィードバック用インターフェースを、授業の早い時期に使える群と遅い時期に使える群へランダムに割り付けられました。ランダムなのはアクセスできる時期であり、どれだけ使うかではありません。この区別は、後で結果を読むときに決定的になります。
対象者数については、注意が必要です。2026年10月版の報告は153人と記載しています。ただし、同じ授業実験についての先行報告2本は、どちらも148人と記載しています。最新版は「大幅に改訂・拡張した解析」と述べており、解析対象の取り方が変わった可能性と、単純な不一致の可能性の両方があります。どちらが正しいかは、この記事では判断できません。 数が報告間で揺れていること自体を、前提として置いておきます。
対象は単一の授業であり、扱われたのは証明という特定の課題です。他科目・他大学・職場へそのまま広げられる観察ではありません。
宿題の点と試験の点が、別方向に動いた
結果の中心はここです。
早期アクセス群だけがツールを使えた期間、その群の宿題の点は2.56点高かった。 一方で、試験成績には群間の有意差が出ませんでした。
この2つを並べて読むと、宿題と試験が測っているものの違いが見えてきます。宿題は支援を使いながら出した成果物の点です。試験は支援を外した場面での点です。前者は上がり、後者は動かなかった。
ここで立ち止まる必要があります。「有意差が出なかった」は「差が無いことの証明」ではありません。差が小さすぎて検出できなかった可能性も、そもそも差が無い可能性も、どちらも残ります。言えるのは、宿題で観察された差が、試験では確認できなかったということまでです。
また、2.56点という数字の満点や配点は、要旨から確認できていません。したがって「◯%の向上」という形に言い換えることはできません。点数の重みが分からないまま割合に変換すると、分からないはずのことが分かった形になります。
「よく使った学生は点が低かった」を、どう読むか
もう1つ、報告されている関連があります。チャットボットへのメッセージが100通増えるごとに、その後の試験の点が3.02点低いという関連です。
この数字は、因果として読みたくなります。「使えば使うほど成績が下がる」という形は分かりやすく、警告としても使いやすい。しかし、この読み方はできません。理由は設計にあります。
メッセージ数は、ランダムに割り付けられた変数ではありません。 学生が自分で選んだ利用量です。ランダムなのはアクセス時期だけでした。したがって、たくさん使った学生とそうでない学生のあいだには、使用量以外の違いもあり得ます。理解に詰まっていた学生がより多く質問した、という順序も、この関連と矛盾しません。
実際、報告されている媒介分析はその方向を示しています。ベースラインの自己効力感が低いことが、チャットボット利用の多さを経由して、試験成績の低さに結びつく間接的な関連が示されました。具体的には、自己効力感が1点低いことが、チャットボット利用を通じて試験の0.62点分の低さに対応していました。
媒介分析は、関係の経路を描く手法ですが、因果を確定するものではありません。ここで言えるのは、「よく使ったから下がった」と「もともと自信が低い学生がよく使った」の両方が、同じデータと矛盾しないということです。前者だけを取り出して「AI利用が成績を下げる」と書くことは、データが支えていない断定になります。
「先に提出させる」仕組みのほうは、負の関連を示さなかった
この研究には、もう1つのインターフェースがありました。宿題フィードバック用のもので、設計上の特徴があります。学生は、自分の証明の試みを先に提出してから、フィードバックを受ける仕組みでした。
この利用については、試験成績との負の関連が示されませんでした。
ここは最も誤読されやすい箇所です。「負の関連を示さなかった」は、「効果があった」「試験成績を上げた」とは別の主張です。前者は「下がる傾向が見えなかった」であり、後者は「上がった」です。報告が述べているのは前者までで、この記事もそこで止まります。
それでも、この対比には読む価値があります。2つのツールは、どちらも同じ授業で、同じ学生たちに提供されました。報告されている違いのうち記述されているのは手順です。片方は問いを投げてやりとりする形で、もう片方は自分の試みを先に出すことを要求しました。
この違いを、著者は提案の形で受け止めています。著者はチャットボット形式でのAIチュータリングを推奨せず、授業活動に埋め込まれたチューターの検討を提案しています。 これは著者の提案であり、比較検証を経た設計指針ではありません。
確かなことと、確かでないこと
確かなこと（2026年10月26日に arXiv:2610.31481v1 の要旨を確認した範囲）：この報告がプレプリントであり、公開ページに掲載誌情報が無いこと。証明を扱う学部数学の授業を対象とし、2026年10月版の報告では153人を扱っていること。学生がAIチャットボットと宿題フィードバック用インターフェースへのアクセス時期でランダムに割り付けられたこと。早期アクセス群だけが使えた期間に、その群の宿題の点が2.56点高く、試験成績には群間の有意差が出なかったこと。メッセージ100通の増加が、その後の試験の3.02点低い点と関連したこと。自己効力感の1点の低さが、チャットボット利用を経由して0.62点分の試験の低さに対応する間接的な関連が示されたこと。自分の証明の試みを先に提出してからフィードバックを受ける仕組みの利用が、試験成績と負の関連を示さなかったこと。著者がチャットボット形式でのチュータリングを推奨せず、授業活動に埋め込まれたチューターの検討を提案していること。同じ授業実験の先行報告2本が対象を148人と記載していること。
確かでないこと：2.56点・3.02点・0.62点の満点や配点は、要旨から確認できていません。したがって割合への換算はできません。対象者数が153人と148人のどちらが正しいかも、この記事では判断できません。チャットボット利用と試験成績の関連が因果であるかどうかは、この設計からは確定できません。また、この観察が他科目・他大学・職場の業務に当てはまるかどうかも、この研究からは言えません。
社内の報告に移すと、何が見えなくなるか
ここからは、研究の結果を踏まえた編集部の考察です。報告が導いた結論ではなく、自社の測定を点検するための読み方として示します。
この授業実験の構造を、そのまま社内に置き換えてみます。宿題に対応するのは、支援を使いながら出した成果物です。試験に対応するのは、支援を外した場面での到達度です。
ここで気づくのは、多くの組織には「試験」に相当する記録が無いということです。提案資料は残りますが、「AIなしで同じ資料を組めるか」を確かめる場面は、意識して作らなければ発生しません。測る機会が無いものは、良くなっても悪くなっても記録に残りません。
そして、記録が無いことは「変化が無い」とは違います。この授業実験で起きたのは、片方の指標だけを見ていれば導入は成功として記録されるという状態でした。宿題の点は実際に上がっていたからです。嘘の報告ではありません。測った範囲では、本当にそうでした。
問題は、測った範囲が報告の形に残らないことです。 「成果物の質が上がった」という報告は、「支援ありの条件で測った」という前提と一緒には運ばれません。数字は運ばれ、条件は運ばれません。
もう1つ、この研究から持ち帰れる論点があります。2つのツールについて報告された関連は、同じ向きではありませんでした。 問いを投げてやりとりする形では試験成績との負の関連が報告され、自分の試みを先に出す形では負の関連が示されませんでした。後者が優れていたと言える材料はありませんが、「AIを使わせるか」ではなく「どの順番で介入させるか」が別の問いとして立つことは、この対比が示しています。
専門職の育成という角度からは、生成AIを使うと若手は育つのか｜特許弁護士133人の試験で分かれた「AIありの成績」と「AIなしの判断力」で別の設計の研究を扱っています。こちらは育成の観点、本記事は測定の観点です。
自社で試せる、最小の検証
紙を1枚用意して、2つの列を作ってください。
左の列に、現在「AI導入の効果」として報告している指標をすべて書き出します。 作成時間、処理件数、資料の完成度、レビューの指摘数——何でも構いません。
右の列に、支援を外した場面で測っている指標を書き出します。 条件は1つだけです。その指標が、AIを使わない状態での到達度を記録しているか。
この作業をすると、たいてい次のどちらかになります。
右の列に何も書けなかった場合、効果の報告は左の列だけで構成されています。それ自体は誤りではありませんが、報告している「効果」は支援ありの条件下の観察であり、支援を外したときに残るものについては何も測っていないという状態です。それを知らずに報告するのと、知って報告するのは別のことです。
右の列に何か書けた場合は、次の確認に進めます。左と右は、同じ方向に動いているか。 片方だけが動いているなら、この授業実験で観察されたのと同じ構図が、自社でも起きている可能性があります。
この作業は10分で終わります。必要なのは、指標を増やすことではなく、いま持っている指標がどちらの列に属するかを決めることです。
効果を報告する前に立ち返る問い
立ち返りたいのは、「この数字は、支援がある状態で測ったのか、無い状態で測ったのか」という問いです。どちらでもない測り方は存在しません。どちらかに決まるはずなのに答えられない場合、測定の条件が記録されていないことになります。
もう1つは、「この効果が報告されたあと、誰が何を決めるのか」という問いです。決めるのが「全員にAIを配る」なら、支援ありの指標で足ります。決めるのが「新人にどう使わせるか」なら、支援を外して残るものを測っていない報告では、判断材料が足りていません。
宿題の点が上がることは、悪いことではありません。ただ、それは試験の点について何も言っていない——この研究が残したのは、その一点です。
参考資料・引用元
- Supporting or Replacing Students' Reasoning? Cognitive Offloading in AI-Assisted Proof Learning（arXiv:2610.31481v1、2026年10月22日投稿。プレプリントであり査読誌掲載ではない。2026年10月26日に要旨を確認）