「AIの回答が混ざるのは1%」は安心材料になるか｜発生率と、弾く仕組みが働いているかは別の指標

調査レポートに「AI生成と判定された回答は全体の1%でした」という一行が入っていると、会議はそこで止まります。1%なら無視できる、という読み方が自然に出てくるからです。実際、発生率が低いことは悪い知らせではありません。

最初は、この数字の読み方は「桁の問題」だと考えていました。1%が本当に1%なのか、推定の幅はどれくらいか、そこを押さえれば済む話だろうと。

しかし同じ報告をもう一度読むと、問題は別の場所にありました。発生率と、混入に反応する仕組みが働いているかどうかは、別々に測られる指標です。 1%という数字は前者だけを答えています。後者について同じ報告が示していたのは、AI支援のあった提出のほぼ全部が承認され、支払われていたという記録でした。

だとすれば、1%を安心材料として受け取るのは、測っていない指標の答えを測った指標から読み取ることになります。この記事の見立てはここです。

教材に使うのは、オンライン調査プラットフォーム Prolific を対象にした2026年10月のプレプリントです。立場を先に置きます。これは査読を経た論文ではありません。 また、この報告を批判するための記事でもありません。報告は人単位と提出単位の両方を並べて書いており、落ちやすいのは引用する側です。

扱わないものも先に置きます。AI生成テキストの検出手法そのものの比較はしません。自社の調査でどの検出サービスを使うべきかも論じません。ここで扱うのは、混入率という数字を受け取った側が、何を確認できるかに限定します。

30秒で要点

• 「1%」は発生率の推定値である。混入が起きたときに弾かれるかどうかは、別に測られる指標である
• 同じ報告に、人単位 68.4% と提出単位 1.00% が並ぶ。矛盾ではなく分母が違う。片方だけ示すと正反対に読める
• AI支援のあった提出の承認率は 99.6%、支援の無い提出は 99.70% で、却下は支援の有無と関連していなかった
• AI利用を明示的に禁じた条件下で支払い判定が下った 60件は、100%が承認・支払いされた。ただし60件は小さい標本である
• 支援のあった提出の 52.6%は選択式などの限定回答で、自由記述向け検出器の対象範囲の外だった。性能の話ではない
• 3年を超える観察期間で増加傾向は検出されていない。「混入が増えている」はこの報告の逆である

教材にする報告の性格を、先に確認する

参照するのは Neil K. R. Sehgal、Manuel Tonneau、Dunigan Folk、Lyle Ungar、Sharath Chandra Guntuku による「AI-Assisted Submissions in Online Research Are Rare and Highly Concentrated but Routinely Approved」です（arXiv:2610.09279 v1、投稿2026年10月7日、分類 cs.HC / cs.CY。2026年10月25日に書誌情報と本文HTMLを取得して確認）。

書誌情報の欄で確認できることが2つあります。journal reference 欄は空で、査読誌に掲載された記載はありません。 arXiv が発行する DOI（10.48550/arXiv.2610.09279）も "pending registration" と表示されています。つまり、現時点ではプレプリント、著者が自ら公開した原稿です。

設計はこうです。対象はオンライン調査プラットフォーム Prolific。ワーカー2,500人への調査と、提供された ChatGPT の利用履歴を提出記録に紐づけた分析の2本立てです。紐づけ対象は712,930件の提出、127,000件を超える研究。紐づけられた提出の期間は2022年12月から2026年2月で、ワーカーへの調査が実施されたのは2026年7月28日です。

ここに、読むうえで外せない制約が1つあります。履歴を提供したのは、週次で ChatGPT を使っているワーカーです。 全ワーカーから無作為に選ばれた人たちではありません。報告が観察できたのは、この408人の提出に紐づけられた範囲です。

68.4%と1.00%は、同じ報告に載っている

この報告でいちばん取り違えやすいのが、ここです。

まず自己申告の数字があります。「研究でAIを使ったことがある」という回答は、直接質問で 11.31%（95%信頼区間 8.73%〜14.29%）、リスト実験——直接聞くと答えが隠される可能性に備えた推定手法——で 14.24%（同 9.73%〜18.70%）でした。両者に統計的に有意な差は認められていません。

リスト実験の結果の読み方には注意が要ります。差が出なかったことは「隠蔽が無かった」ことの証明ではありません。この手法で検出できる範囲の追加分が、検出されなかったということです。

そして履歴の分析です。観察できたワーカーは週次 ChatGPT 利用者408人。そのうち 68.4% が、Prolific の研究への支援に ChatGPT を使ったことがありました。

一方、提出単位で見ると、AI支援が現れたのは 7,100件・全体の1.00%（ワーカー単位のブートストラップ法による95%信頼区間 0.72%〜1.32%）です。

この2つの数字の分母を並べます。

表が収まらない場合は、横にスクロールできます

同じ報告の数字で、矛盾していません。分母が違うだけです。 そして、片方だけを引用すると結論が反転します。68.4%だけなら「ほぼ全員が使っている」、1.00%だけなら「ほとんど誰も使っていない」。どちらも、報告が書いたことではありません。

集中の度合いも記録されています。AI支援のあった提出のうち 64.1% は、上位5%のワーカー——408人中21人——によるものでした。全員が少しずつ使っているのではなく、一部に偏っている形です。ただしこれも、観察できた408人の内側での偏りであり、プラットフォーム全体の分布ではありません。

最後に、時間の変化です。3年を超える観察期間で、増加傾向は検出されていません。 「調査回答へのAI混入が増えている」という書き方は、この報告の内容の逆になります。

弾かれているかどうかは、別の数字で測られている

ここが本題です。発生率の数字は、混入が起きたときに何が起きるかを答えていません。報告はそれを別に測っています。

AI支援のあった提出の承認率は 99.6%。支援の無い提出は 99.70%。そして却下は、支援の有無と関連していませんでした（統計的に有意な関連は認められず、P > .05）。支援があったかどうかで、通るか落ちるかはほとんど変わっていないということです。

さらに踏み込んだ記録があります。研究側がAI利用を明示的に禁じていた条件下で、支払い判定が下った提出は60件あり、その100%が承認され、支払われました。

ここで一度立ち止まります。60件は小さい標本です。「禁止と書いても必ず支払われる」という一般法則としては読めません。読めるのは、観察された60件については、禁止の記載が支払いの判定に効いていなかったということまでです。

この区別は細かく見えますが、実務では向きが変わります。一般法則として読むと「禁止を書くのは無意味だ」になります。観察記録として読むと「禁止を書いたこの研究群では、書いたことが判定に反映される経路が無かった」になります。後者であれば、経路を作れば結果は変わりうる、という読み方が残ります。

検出についても、報告は性能ではなく範囲の話をしています。AI支援のあった提出の 52.6%は bounded response——選択式など、回答の範囲が限られた形式——で、プラットフォームが自由記述に対して用いる検出器の対象範囲の外にありました。

「検出器が見逃した」ではありません。「検出器が見る場所ではなかった」です。 自由記述の文章を判定する仕組みは、選択肢をクリックした記録を判定しません。これは精度の評価ではなく、適用範囲の記述です。

なぜ、発生率で安心してしまうのか

ここまで整理しても、「1%」という数字を見れば安心したくなります。理由は数字の側ではなく、受け取り方の側にあります。

第一に、発生率は1つの数で言い切れる形をしています。 「弾く仕組みが働いているか」は、承認率・却下との関連・検出器の適用範囲という複数の記述に分かれていて、1つの数になりません。会議に持ち込みやすいのは前者です。

第二に、小さい数は「対処済み」と読まれやすい。 1%という値そのものには、対処の結果なのか、そもそも発生が少ないのか、という区別が含まれていません。しかし受け取る側は、小さい数字を見たときに「何らかの歯止めが効いているのだろう」と補って読みます。この補完は、数字の中に根拠がありません。

第三に、資料は数字を運びますが、分母を運びません。 68.4%と1.00%のうち、スライドに残るのは話の筋に合う片方です。残った数字の横に「分母は人」「分母は提出件数」と書かれていることは、まずありません。

この3つは、誰かが意図的に歪めた結果ではなく、数字が転記されていく過程で自然に起きます。

自社の調査に当てるときの判断軸

正解は「アンケートを信じない」ではありません。それでは定量調査を一切使えなくなります。

置き場所を変えます。発生率は「どれくらい起きているか」の記録として読む。「起きたときに対処されているか」の記録としては読まない。 そして後者は、自社の仕組みの側で確認する。

この置き方にすると、確認すべきことが2つに分かれます。

1つ目は、発生率の分母です。 「AI混入は1%」と書かれた資料を受け取ったら、分子と分母を聞きます。人単位なのか、回答単位なのか。回答単位なら、全回答が分母なのか、判定の対象になった回答だけが分母なのか。分母が狭ければ、同じ1%の意味が変わります。

2つ目は、自社に弾く経路があるかどうかです。 これは外部の数字では代わりになりません。混入が起きたとき、どこで気づき、誰が判定し、どう扱いが変わるのか。その経路が無い場合、発生率の低さは安心の根拠になりません。経路が無ければ、発生率が10倍になっても結果は同じです。

逆に、やってはいけない使い方も明確になります。他のプラットフォームの発生率を、自社の調査の混入率として引くこと。 今回の値は、単一プラットフォーム上で履歴を提供した408人の提出に紐づけられた範囲の推定です。自社の従業員サーベイや顧客アンケートに当てはめる根拠は、この報告には含まれていません。

手元で試せる最小の確認

次に調査を発注する前に、紙1枚でできることがあります。

「AIで作られた回答が1件混ざったとき、それはどの段階で、誰によって弾かれるか」を書き出す。

書き出せる経路が1つも無ければ、そこが答えです。発生率の数字は、その調査については安心の根拠になりません。混入が起きても、起きなかった場合と同じ扱いになるからです。

経路が書けた場合は、もう一歩進めます。その経路は、自由記述だけを見ていないか。 選択式の設問が主体の調査で、自由記述だけを判定する仕組みを置いているなら、対象範囲の外に大半が残ります。今回の報告で52.6%が限定回答だったのは、まさにこの形です。

この確認には、外部のデータは要りません。自社の調査フローを知っている人が10分で書けます。

確かなことと、確かでないこと

確かなこと（2026年10月25日に arXiv の書誌情報と本文HTMLを取得して確認した範囲）：この報告が Prolific を対象にしていること。紐づけ対象が712,930件の提出・127,000件超の研究であり、期間が2022年12月〜2026年2月であること。自己申告が直接質問11.31%・リスト実験14.24%で有意差が認められなかったこと。観察された408人のうち68.4%が支援に使った経験を持ち、提出単位では1.00%（95%信頼区間 0.72%〜1.32%）であること。支援のあった提出の64.1%が上位5%の21人によること。承認率が99.6%と99.70%で却下が支援の有無と関連しなかったこと。禁止条件下で支払い判定が下った60件の全件が承認・支払いされたこと。支援のあった提出の52.6%が限定回答形式だったこと。そして、journal reference 欄が空でDOIが登録待ちであること。

確かでないこと：これはプレプリントです。査読を経た知見として扱うことはできません。また、履歴を提供した408人がプラットフォーム全体をどれだけ代表しているかは、今回読んだ範囲では定量化されていません。偏りの方向と大きさは分かりません。

この記事が適用範囲を広げていないこと：1.00%という値は、単一プラットフォーム上の、履歴を提供した週次 ChatGPT 利用者の提出に紐づけられた範囲のものです。オンライン調査一般の混入率ではありません。また、プラットフォーム側の検出器の精度についても、この報告は測定していません。述べているのは対象範囲です。

調査の数字を受け取るときに立ち返る問い

立ち返りたいのは、「この数字は、発生の話か、対処の話か」という問いです。発生の話であれば、分母を聞きます。対処の話であれば、それは外部の数字ではなく自社の仕組みの話になります。両方を1つの数字で済ませようとするところに、取り違えが入り込みます。

もう1つは、「同じ報告に、別の分母の数字が載っていないか」という問いです。68.4%と1.00%は同じ報告の中にありました。資料に片方しか載っていないなら、もう片方を探す価値があります。探して見つからなければ、その資料は元の報告の一部しか運んでいません。

発生率が低いことは、良い知らせです。ただし、良い知らせであることと、安心してよいことは別です。この違いは、1%という数字の中には書かれていません。

参考資料・引用元

• AI-Assisted Submissions in Online Research Are Rare and Highly Concentrated but Routinely Approved（Neil K. R. Sehgal, Manuel Tonneau, Dunigan Folk, Lyle Ungar, Sharath Chandra Guntuku、arXiv:2610.09279 v1、投稿2026年10月7日、分類 cs.HC / cs.CY。journal reference 欄は空、arXiv DOI 10.48550/arXiv.2610.09279 は登録待ち。2026年10月25日に書誌情報と本文HTMLを取得して確認）