「39.8%減」と「2ポイント差」が同じ現象の話だったとき——調査結果が食い違って見えるときの読み方

「39.8%減」と「2ポイント差」が同じ現象の話だったとき——調査結果が食い違って見えるときの読み方

「AI Overviews(AIによる検索結果の要約表示)のせいでサイトへのクリックが39.8%減った」という調査結果を見た数日後に、「実際の落ち込みは2ポイント程度」という別の調査結果を目にする——同じテーマを扱っているはずなのに、数字がまったく違って見える場面に出会ったことはないでしょうか。

この記事では、AI Overviewsによる流入減少という具体例を使って、こうした食い違いが実は矛盾ではなく、何を推定しているか(推定対象)が違うだけというケースを整理します。そのうえで、食い違う数字に出会ったときに実務で使える4つの判別の問いを紹介します。

出典はSSRNに掲載されたAgarwal & Sen(2026)のワーキングペーパー、Scrunch社のブログ記事(2026年8月13日公開)、Google Search Consoleヘルプページです。

30秒で要点

• Agarwal & Sen(2026、査読前のワーキングペーパー)は、ランダム化フィールド実験で、AI Overviews(AIO)が表示された場合に限り、外部へのクリックが39.8%減少したと報告している
• Scrunch社(2026年8月13日公開、ベンダー発)は、ニュース検索全体では10ポイント差だが、同一クエリで比較すると差は約2ポイントに縮小すると報告している
• 両者は矛盾ではなく、前者は「AIOが表示された場合」という条件付き効果、後者は「同一クエリ内での比較」という異なる推定対象(estimand)を扱っている
• Google Search Consoleの生成AIパフォーマンスレポートには、Query(クエリ)次元が存在せず、自社データだけでAIOの有無によるクリック差を分離することはできない
• 実務では「母集団」「条件付けの有無」「無作為割り付けか」「著者が何を推定したと言っているか」の4問で数字を読み分ける

なぜ数字が食い違って見えると混乱するのか

同じテーマの数字が違うと、多くの人はまず「どちらかが間違っている」と考えます。これは自然な反応です。私たちは、1つのテーマには1つの「正しい数字」があるはずだという前提を、無意識に置いているからです。

しかし統計や調査の世界では、同じ現象についての数字であっても、何を測ろうとしたか(推定対象)が違えば、正しい数字が複数存在することが珍しくありません。この前提を持たずに数字だけを比較すると、「矛盾している」「どちらかが嘘をついている」という誤った結論に飛びつきやすくなります。

2つの調査は、実は違うものを測っていた

Agarwal & Sen(2026)は、カスタムのChrome拡張を使ったランダム化フィールド実験で、AI Overviews(AIO)が表示された場合に限り、外部への(パブリッシャーへの)クリックが39.8%減少し、ゼロクリック検索(検索結果からどこにもクリックしない状態)が34.5%増加したと報告しています。スポンサードクリックや検索頻度全体には影響がなかったともされています。この数字は、あくまで「AIOが表示された場合」という条件のもとでの効果です。

一方Scrunch社のブログ(2026年8月13日公開、AI可視性計測ベンダーによる発信)は、ニュース検索全体で見るとAIO付き検索のクリック率は約20%、AIOなし検索は約30%と、10ポイントの差があるものの、同一クエリで比較する——同じ検索語を、AIOが出た場合と出なかった場合とで比較する——と、差は約2ポイントに縮小し「ゼロと区別がつかない」水準になると報告しています。Scrunch社はこの記事の中でAgarwal & Sen(2026)を明示的に引用し、「1検索あたりの実害は本物」と認めたうえで、「市場全体への影響は、Googleがどこにaioを配置するかで決まる」と結論づけています。

つまり、Agarwal & Senは「AIOが出たときの1回あたりの効果」を、Scrunchは「同じクエリで比較したときの差」を測っています。前者は条件付きの効果量、後者はGoogleの配置戦略まで含めた市場全体への影響という、異なる推定対象を扱っているのです。数字が違って見えるのは、どちらかの計算が間違っているからではなく、質問そのものが違うからです。

配置の偏りという、もう1つの手がかり

Scrunch社の記事は、この2ポイントへの縮小が起きる理由についても手がかりを示しています。天気の検索ではAIO出現率が59%と高い一方でクリック率はもともと13%と低く、市況価格の検索でも同様にAIO出現率39%に対しクリック率22%と低め。逆にスポーツ結果の検索はAIO出現率がわずか5%で、クリック率は測定対象の中で最も高い53%でした。

Scrunch社はこれを「Googleはこれらのクリックを減らしているというより、もともとクリックが多くなかった検索を選んでAIOを表示している」と説明しています。ただし、天気・スポーツのカテゴリはサンプルが薄く、著者自身が方向性としてのみ読むよう注記している点には留意が必要です。断定的な予測値としては扱えません。

実務で数字を読み分ける4つの問い

食い違って見える調査結果に出会ったとき、次の4つの問いで違いを切り分けると、どちらが正しいかという不毛な対立を避けられます。

1. 母集団は何か — 全検索なのか、特定カテゴリ(ニュースなど)に絞った検索なのか
2. 条件付けがあるか — 「AIOが表示された場合に限り」のような条件がついているか、それとも無条件の平均か
3. 無作為割り付けかどうか — ランダム化実験なのか、観察データの比較なのか。前者のほうが因果関係を主張しやすい
4. 著者自身が何を推定したと言っているか — 論文やレポートの中で、著者が「これは条件付き効果です」「これは配置の偏りを含む市場全体の数字です」とどう説明しているか

この4問に答えられれば、2つの数字がどちらも正しく、単に別のものを測っていただけだと判断できる場合があります。

自社データだけでは分離できないという制約

自社サイトで「AIOが出たクエリと出なかったクエリでクリック率がどう変わるか」を直接確認したいと考える方もいるはずです。しかし現状のGoogle Search Console(生成AIパフォーマンスレポート)では、これは困難です。同レポートで選べるディメンションはPages・Countries・Dates・Devicesの4つのみで、Query(クエリ)次元は存在しません。指標として提供されているのもインプレッションのみで、クリック数・CTR(クリック率)・掲載順位は含まれていません。

つまり、「うちのサイトでは、AIOが出たクエリのクリック率が実際どれだけ下がっているか」を自社データだけで検証することは、現時点のツールでは構造的にできないということです。この制約を知らずに自社データとGoogleの発表値を単純比較すると、また別の誤読が生まれます。

判断軸の提示

食い違う調査結果に出会ったら、「どちらが正しいか」ではなく、「それぞれが何を推定しているか」を先に確認することを判断の起点にします。

母集団・条件付けの有無・無作為割り付けの有無・著者の説明という4つの視点で切り分ければ、多くの「矛盾」は、実は異なる問いへの異なる答えだったと分かります。そのうえで、自社の状況に近いのはどちらの推定対象なのかを考えることが、実務での意思決定に数字を使う際の次の一歩になります。

確かなことと、まだ確かではないこと

確かなこと: Agarwal & Sen(2026)のランダム化フィールド実験が、AIO表示時に限り外部クリックが39.8%減少・ゼロクリック検索が34.5%増加したと報告していること。Scrunch社が同一クエリ内比較では差が約2ポイントに縮小すると報告し、Agarwal & Senの結果を引用していること。カテゴリ別のAIO出現率・クリック率の数値。Google Search Consoleの生成AIパフォーマンスレポートにクエリ次元が存在しないこと。

まだ確かではないこと: Agarwal & Senの論文は査読前のワーキングペーパーであり、PDF本文は今回未読のため、実験期間・被験者数・対象国は確認できていません。天気・スポーツのカテゴリ別数値は、サンプルが薄いことが著者自身により注記されており、方向性以上の意味では扱えません。Scrunch社はAI可視性計測ベンダーであり、利益相反がある発信元だという前提のもとで読む必要があります。

自分でも試せる、最小の検証

直近で目にした、食い違って見える2つの調査結果や社内の報告数字を1つ思い出してください。

それぞれについて、「母集団は何か」「条件付けがあるか」の2問だけでよいので確認してみます。この2問に答えられれば、多くの場合、どちらが正しいかという不毛な議論をせずに、両方とも成立しうる理由が見えてきます。答えられない場合は、その数字が何を推定しているのか、報告元に確認するのが次の一手になります。

この記事で扱ったような、社内で食い違う数字の読み方を自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。