AI導入の効果はどう測る？署名活動150万件の分析が分けた出力と成果

AI導入の効果はどう測る？署名活動150万件の分析が分けた出力と成果

「AIを導入して、記事の本数が3倍になりました」「作成時間が半分になりました」——こうした報告を受けたとき、何が示されたことになるでしょうか。

示されたのは、出力が変わったことです。成果が変わったことは、まだ示されていません。この2つはあまりに自然に結びつくため、報告する側も受け取る側も、区別しないまま次の判断に進みます。

2026年9月30日にNature Human Behaviourで公表された研究は、この区別がそのまま結果として現れた例です。署名活動プラットフォームへのAI執筆ツール導入を自然実験（現実に起きた変化を実験のように利用する分析）として扱い、署名活動の語彙的特徴は有意に変わり、署名活動どうしの同質性も高まったが、成果は改善しなかったと報告しています。

この記事では、その研究が何をどう比べたのかを確認し、自社のAI導入評価に持ち帰れるものを整理します。持ち帰れるのは結論の数字ではなく、比較の立て方です。

30秒で要点

• 研究はChange.orgのプラットフォーム内「write with AI」ツール導入を自然実験として用い、収集した署名活動150万件を差分の差分法で分析したもの（Nature Human Behaviour、2026年9月30日公表、DOI 10.1038/s41562-026-02580-8）
• 結果は、プラットフォーム内でAIが使えるようになったことで署名活動の語彙的特徴が有意に変わり、同質性が高まった一方、成果は改善しなかった
• 原文は "did not improve"（改善しなかった）。悪化したとは書かれていない
• 著者らは、導入の前後どちらにも投稿している繰り返し投稿者だけの別分析でも同じ結果を確認したと報告している
• 効果量の数値はアブストラクトにないため、「○%同質化した」という形では語れない

なぜ「出力が変わった」が「効いた」に見えるのか

出力の変化を成果の変化として受け取ってしまうのは、注意不足というより、観測しやすさの差から生まれます。

本数は数えられます。作成時間は測れます。文章が整ったかどうかは、読めば分かった気になれます。どれも手元で、すぐ、確実に確認できます。一方、成果が変わったかどうかは、目標に到達した件数を数え、導入前と比べ、さらに「同じ期間に他の要因が動いていないか」を考えないと答えが出ません。時間がかかり、答えが曖昧になりやすい。

ここで、確認しやすい指標が確認すべき指標の代わりに入り込みます。報告する側は悪意なく出力側の数字を出し、受け取る側も「本数が増えたのだから成果も増えるだろう」と埋めてしまいます。

さらに、AI導入には投資判断が先行しています。導入を決めた側は、効果を確認したいという動機を持っています。この動機は、出力側の数字を成果の前兆として読む方向に働きます。「まだ成果は出ていないが、本数は増えた」という報告は、組織の中では前進として扱われやすい。

そして最も根深いのは、出力と成果を分けて並べた表が、そもそも作られていないことです。分けて並べさえすれば「出力は改善、成果は横ばい」という状態が一目で見えます。分けていないと、その状態が「改善」という1語に吸収されます。

この吸収は、報告のサイクルを重ねるごとに積み上がります。初回は「本数が増えた」という事実の報告だったものが、次の期には「前期は改善した」という前提として引き継がれ、その上に新しい施策が積まれていきます。どの時点でも誰も嘘をついていないのに、数期を経ると「改善が続いているはずなのに、売上の数字だけが動いていない」という説明のつかない状態が残ります。出力と成果を分けなかったコストは、分けなかったその場では請求されません。

150万件の署名活動で、何が何と比べられたのか

この研究が参考になるのは、結論よりも比較の組み立て方です。

論文は「Introducing AI to an online petition platform changed outputs but not outcomes」（著者 Isabel Corpus, Eric Gilbert, Allison Koenecke, Mor Naaman）。Nature Human Behaviourに2026年9月30日公表（受領 2025年9月9日、受理 2026年8月14日）、DOIは 10.1038/s41562-026-02580-8 です。

設計は2つの道具の組み合わせです。

自然実験：研究者が介入を設計するのではなく、現実に起きた変化を実験のように利用する方法です。ここではChange.orgというプラットフォームが、自社の中に「write with AI」というAI執筆ツールを導入したこと自体が、介入の役割を果たします。研究のために誰かを割り振ったわけではないので、参加者が「実験されている」と意識することもありません。

差分の差分法：導入前後の変化を、導入の影響を受けていない比較対象の前後の変化と引き算する手法です。「導入後に数字が上がった」だけでは、季節要因や社会全体の変化と区別できません。比較対象の側でも同じだけ上がっているなら、その分は導入の効果ではない——という引き算をします。この手法そのものの性質は、効果検証で「差分の差分法」と「傾向スコア」のどちらを使うかで扱っています。

分析対象は、収集した署名活動150万件です。ここは誤読しやすいので明示します。150万件は収集された署名活動の件数であり、AIツールを使って書かれた件数ではありません。

なお、以下で引用する結論の文は、arXivのプレプリント最新版（arXiv:2511.13949 v5、2026年9月26日）のアブストラクトから引いています。査読版のアブストラクトとの違いは表現レベルにとどまり、結論を述べる語は一致しています。

変わったのは文章、変わらなかったのは成果

アブストラクトの結論はこう書かれています。プラットフォーム内でAIが使えるようになったことは、署名活動の語彙的特徴を有意に変え、署名活動どうしの同質性を高めたが、署名活動の成果を改善しなかった（did not improve petition outcomes）。

1文の中に、方向の違う3つの観測が同居しています。文章は変わった。似通った。成果は変わらなかった。

ここで言葉を正確に扱う必要があります。原文は「改善しなかった」であり、「悪化した」ではありません。 この2つは日常会話では近く聞こえますが、主張としては別物です。「改善が確認できなかった」は、効果がゼロだったことの証明でもありません。確認できたのは、改善が観測されなかったという事実です。

確かなこと：査読版およびプレプリントv5のアブストラクトに、語彙的特徴の有意な変化・同質性の増加・成果の改善なしという3点が記載されていること。これはアブストラクトの記述から直接確認できます。

まだ確かではないこと：どれくらい同質化したのか、成果の指標が具体的に何だったのかという効果量と指標定義は、アブストラクトに書かれていません。したがって本記事は数値を示しません。また、本記事が突き合わせたのはアブストラクトのみで、本文・図表の内容までは確認していません。報道記事には個別の数値が出ているものもありますが、アブストラクトの記述と方向が整合しているかを確認できていないため、ここでは扱いません。

「AIを使う人が偏っていただけ」をどう潰したか

自然実験の結果を読むとき、最初に浮かぶ疑いはいつも同じです。「ツールを使った人と使わなかった人が、もともと違う人たちだったのではないか」。

AI執筆ツールを使うのは、文章に自信がない人かもしれません。あるいは新しい道具にすぐ飛びつく人かもしれません。どちらにしても、その人たちの署名活動がもともと成果の出にくいものだったなら、成果が改善しなかったのはツールのせいではなく、使った人の側の性質かもしれない——という説明が成り立ちます。

著者らはこの点について、AIツール導入の前後どちらにも投稿している繰り返し投稿者だけを取り出した別分析でも、同じ結果が確認されたと報告しています。

この設計の意味を言葉にすると、「人を比べる」のをやめて「同じ人の前と後を比べる」ことです。同じ書き手なら、文章の癖や扱うテーマ、持っている人間関係はおおむね同じまま。そこに道具だけが加わった前後を比べれば、書き手の入れ替わりで説明する余地が狭まります。

自社でAI導入の効果を見るときにも、ここは真似できます。全社平均の変化を見るのではなく、導入前後どちらにも稼働している同じ担当者の数字を並べる。担当者が入れ替わっている期間の比較は、ツールの効果と人の違いが混ざったままになります。

同質化という副産物を、どこまで一般化できるか

もう1つの観測が「同質性が高まった」です。これは成果とは別の軸の話で、実務的にも気になる点です。

ただし、ここは広げすぎないよう気をつける箇所です。確認できたのは、この自然実験において同質性が高まったという1件の観測です。「AIが文章を均質化させる」という一般法則が示されたわけではありません。同じツール・同じ使い方でも、別の領域で同じことが起きるかは、この研究からは言えません。

同時に、無視するほど小さな話でもありません。同質性が高まることは、差別化を目的とする文章では、目的そのものに逆行する可能性があります。署名活動は「他の署名活動ではなくこれに署名してもらう」ことを目指す文章です。そこで似通う方向の変化が観測されたという事実は、同じ構造を持つ文章——つまり他と比べられて選ばれる必要がある文章——を扱う人にとって、確認すべき点が1つ増えたことを意味します。

成果が改善しなかったことと、同質性が高まったことのあいだに因果関係があると、この研究が示したわけではないことも押さえておきます。アブストラクトは3つの観測を並べていますが、同質化が成果を押し下げたという説明を与えてはいません。

真似できるのは数字ではなく、比較の立て方

この研究を自社の判断に持ち帰るとき、持ち帰れるものは「AI執筆ツールは成果を改善しない」という結論ではありません。それは1プラットフォーム・1ツール・特定期間の観測であり、目的の違う文章にそのまま移せません。

持ち帰れるのは、次の4点です。

1. 出力側の指標と成果側の指標を、同じ表に分けて並べる。 本数・作成時間・文章の整いは出力側。目標に到達した件数の割合は成果側。1枚に並べてはじめて「出力は改善、成果は横ばい」という状態が見える
2. 成果側の分母と分子を先に定義する。 「成果が出た」と言う前に、分母は対象期間に公開した件数、分子は目標に到達した件数、単位は％——という定義を置く。この定義がないと、何を比べているのか後から再現できない
3. 同じ担当者の前後を比べる。 全社平均ではなく、導入前後どちらにも稼働している人の数字を並べる。これだけで「人が変わったから」という説明を外せる
4. 比較対象を1つ持つ。 同じ期間に導入していないチームや、導入前の同時期の数字を横に置く。導入後に数字が動いたことは、導入が動かしたことの証明にはならない

これは統計の専門技能ではなく、表の作り方の話です。専門的な分析に進む前に、表の形が間違っていれば、どれだけ丁寧に分析しても結論は出ません。

自分でも試せる、最小の検証

直近のAI導入について、A4の紙を1枚用意して縦に線を引いてください。左に「出力側で変わったこと」、右に「成果側で変わったこと」を書き出します。

書き終えたら、右側の各項目について「分母は何か」を書き添えてください。分母を書けない項目は、成果側ではなく印象です。左側が埋まって右側が空白、あるいは右側が分母なしの項目で埋まっているなら、この研究が示した状態——出力は変わったが成果は確認されていない——と区別できていないことになります。

この作業は15分で終わります。終わった時点で、次に集めるべきデータが1つ決まります。

判断に迷ったときに立ち返る問い

• 報告されているのは出力の変化か、成果の変化か。分けて並べた表はあるか
• 成果側の指標に分母と分子の定義があるか。なければ、まだ比較は始まっていない
• 比べているのは同じ人の前後か、違う人どうしか
• 「改善しなかった」と「悪化した」を区別しているか。研究の原文は前者である
• 1つの自然実験で観測されたことを、目的の違う文章の一般法則に広げていないか

出力が変わったことは、見ればすぐ分かります。成果が変わったことは、設計しないと分かりません。この非対称が、AI導入の評価をいちばん歪めやすい箇所です。

自社のAI活用について、出力側と成果側のどちらを見ているのかを整理したい場合は、状況を言語化するところから始めることができます。

より深く学ぶ

• 効果検証で「差分の差分法」と「傾向スコア」のどちらを使うか｜手法選択の前に確認すべき前提：本研究が使った分析手法の選び方
• AI投資の効果が「体感」より遅れて出る理由——CFO734人調査に見るAI生産性の実態：導入と成果のあいだにある距離を扱った記事
• 速くなった気がする、を疑う｜AIは疲れを減らすが時計を進めないことがある：所要時間の変化を成果と取り違える構造

参考資料・引用元

• Isabel Corpus, Eric Gilbert, Allison Koenecke, Mor Naaman, "Introducing AI to an online petition platform changed outputs but not outcomes," Nature Human Behaviour (Published 30 September 2026). DOI: 10.1038/s41562-026-02580-8. https://doi.org/10.1038/s41562-026-02580-8 （2026年10月5日確認）
• 同論文のプレプリント: arXiv:2511.13949 [cs.CY], v5 (26 September 2026). https://arxiv.org/abs/2511.13949 （2026年10月5日確認）