同じテーマの数字が食い違って見えるとき、まず「どちらが正しいか」を決めると判断を急ぎます。先に、母集団、条件、比較、期間、欠測の扱いをそろえ、何を推定した数字なのか（estimand）を一文にします。
公式資料を読み直した日と範囲
2026年10月7日に、Scrunchの2026年8月13日公開データ研究、その記事が参照するAgarwal & Senのワーキングペーパー、Google Search Consoleの生成AIパフォーマンスレポート、およびICH E9(R1)のestimand指針を確認しました。Scrunchはニュース検索の観察パネルで、AIOあり約20%・なし約30%、同じクエリを固定すると差は約2ポイントと報告します。Agarwal & Senの数値（AIO表示時の外部クリック39.8%減など）は査読前の研究として紹介されており、両者を全サイトへ一般化しません。Search Consoleの現行レポートは生成AI機能のインプレッションを、ページ・国・日付・デバイスで集計します。
30秒で要点
- 相対減少、百分点差、条件付き効果、集計効果は、同じ単位へ直さないと比較できない
- ICH E9(R1)は、対象集団、介入・比較、評価項目、時点、起こり得る事象を先に定義し、解析と感度分析を合わせる枠組みを示す
- Scrunchのニュース検索の差は、AIOが出る検索の選ばれ方と、同一クエリ内比較を分けて読む
- Search Consoleの生成AIレポートから、AIO表示の有無による自社CTRを直接分離できるとは限らない
表が収まらない場合は、横にスクロールできます
| そろえる欄 | 例 | そろわないと起きること |
|---|---|---|
| 母集団 | ニュース検索、全検索、自社ページ | 対象の違いを効果の違いと読む |
| 条件 | AIO表示時、同一クエリ、割付 | 条件付き効果を平均効果と読む |
| 結果 | 39.8%減、10ポイント差、2ポイント差 | 相対率と百分点を混ぜる |
| 時点 | 2026年2–6月、公開時点、計測期間 | 配置や仕様の変化を隠す |
39.8%減と2ポイント差は同じ問いではない
Scrunchの報告は、ニュース検索でAIOがある検索とない検索のクリック率を比べると約20%対約30%だが、同じクエリを固定すると差が約2ポイントになると説明します。これは、AIOが出る検索の種類がもともとクリックされにくい可能性と、同一クエリ内の差を分けた読み方です。天気やスポーツなど薄いカテゴリは、同記事の注記どおり方向性として扱います。
Agarwal & Senの39.8%減は、AIOを隠したランダム化実験を参照した条件付きの数字として紹介されています。ランダム化は表示条件の効果を推定しやすくしますが、研究の集団・期間・設計が自社と同じとは限りません。相対減少率と百分点差は、分母が違うため計算し直さずに「矛盾」と呼べません。
estimandを一文にする
ICH E9(R1)は、解析手法から逆算せず、まず知りたい効果を対象集団、処置と比較、評価項目、時点、途中で起きる事象の扱いとともに定義するよう求めます。Web分析でも「2026年2–6月のニュース検索で、同一クエリを固定し、AIOが表示されたときの出版社クリック率の差」のように書けば、母集団と条件が見えます。
同じサイトで「AIOに見られたページのインプレッションが増えた」と、「AIOがクリックを減らした」は別の推定対象です。Search Consoleの現行レポートはページ・国・日付・デバイスのインプレッションを示し、クエリやクリック率の分離を直接提供するページではありません。使える指標の範囲を越えて因果を断定しないでください。
実務の最小チェック
- 各数字の対象、期間、単位、分母、条件、除外を引用元の文章で確認する。
- 相対変化、百分点差、オッズ、絶対件数を別列へ分ける。
- 観察比較か、無作為割付か、同一対象内比較かを記録する。
- 中心のestimandと、欠測・仕様変更・別の母集団を置いた感度分析を同じ表にする。
- 自社で測れない効果は「未測定」と書き、近い指標を因果効果の代用にしない。
公式資料の範囲を外さない
Scrunchの数値は、2026年2–6月のプライバシー配慮型オプトインパネルによるニュース検索の観察です。Agarwal & Senは査読前のワーキングペーパーです。ICH E9(R1)は臨床試験の指針をWeb計測へ応用する読み方であり、Googleの仕様や自社の効果を保証しません。