LLMOの効果はどの段階の話か——「引用順位」と「発見可能性」を混同しない読み方

LLMOの効果はどの段階の話か——「引用順位」と「発見可能性」を混同しない読み方

「LLMO（ChatGPTなどの生成AIの検索・回答エンジンに、自社の情報が引用されやすくなるよう調整する施策の総称）に効果はあるのか」という問いに、営業やコンサルの現場では一言で答えが返ってくることがあります。「効果があります、実証データもあります」、あるいは逆に「まだ何も証明されていません」。どちらの言い切りも、実は正確ではありません。問題は、どちらの答えが正しいかではなく、その「効果」が測定パイプラインのどの段階を指しているのかが、多くの場合説明されないまま流通していることにあります。

この記事では、2026年に公開された2つの査読前研究——45件の既存研究を横断的にレビューしたサーベイと、25万試行を超える統制実験——を対比しながら、LLMOやGEO（Generative Engine Optimization、生成AIの検索・回答エンジンへの最適化）の「効果」を評価するときに見落としやすい段階の違いを整理します。

30秒で要点

• 45件の既存研究をレビューしたサーベイ（Martinez, 2026年7月、査読前）は、「有機的な発見可能性や下流の行動に対して、安定的・長期的・プラットフォーム横断の因果効果を示した手法は一つも無かった」と結論づけている（arXiv:2607.14035）
• 6つのLLM・25万2千試行の統制実験（Vishwakarma他、SIGIR '26採択、査読前）は、「既に文脈に入っている2つの候補ソースのうち、どちらが先に引用されるか」を測定し、話題的関連性とリスト内の位置が最大の駆動因だと報告している（arXiv:2605.25517）
• この2つは矛盾しているのではなく、測っている段階が違う。前者は「そもそも集客につながるか」、後者は「既に土俵に上がった後、どちらが先に呼ばれるか」を見ている
• 後者の著者3名は全員GEO関連SaaSベンダー（Sprinklr）に所属しており、利益相反として割り引いて読む必要がある

なぜこの2つを混同しやすいのか

GEOという言葉は、あたかも1つの指標を最適化するタスクであるかのように語られがちです。しかし45研究のサーベイは、GEOを単一のランキングタスクではなく、「検索起動・クロール/インデックス・検索・リランキングと文脈割当・引用・顕出度・事実吸収・忠実性・ユーザー行動にまたがる、確率的で部分的にしか観測できないパイプライン」として定式化しています（arXiv:2607.14035）。

このパイプラインの中には、少なくとも2つの大きく異なる段階があります。1つは、自社の情報がそもそも生成AIの回答候補として拾われ、文脈に入るかどうかという段階です。もう1つは、既に文脈に入った複数の候補のうち、どれが実際に引用されるかという段階です。この2つは連続してはいますが、別の現象です。前者で失敗すれば後者の勝負にすら参加できませんし、後者で優位に立てても、前者の頻度が低ければ全体としての集客効果は限定的です。

「LLMO施策の効果」という一言でこの2段階をまとめて語ってしまうと、片方の段階でしか実証されていない効果を、もう片方の段階にまで当てはまるかのように誤読してしまいます。これが、「効果がある」「効果が無い」という相反する主張が同時に流通する構造的な理由です。

さらに厄介なのは、この2段階が完全に独立した話題ではなく、地続きになっている点です。引用順位の段階での改善が、発見可能性の段階にまったく影響しないとは言い切れません。ただし「地続きである可能性がある」ことと、「効果が実証されている」ことは別です。パイプラインのある段階で確認された効果を、検証されていない別の段階にまで拡張して語ることは、本来なら「仮説」として扱うべき話を「実証済みの効果」として提示してしまう典型的な飛躍です。提案や記事の中でこの飛躍が起きていないかを見抜くには、語られている効果がパイプラインのどの矢印の話なのかを、いったん立ち止まって特定する必要があります。

45研究のサーベイが示したこと

Olivier Martinez氏による2026年7月15日提出のarXivプレプリント（査読前・単著）は、2023年11月から2026年7月までに公開された45件の研究を対象に、GEOを批判的にレビューしました（arXiv:2607.14035）。

このレビューの結論部分には、次のように書かれています。「no reviewed technique shows a stable, longitudinal, cross-platform causal effect on organic discoverability or downstream behavior」（レビュー対象のどの手法も、有機的な発見可能性や下流の行動に対して、安定的・長期的・プラットフォーム横断の因果効果を示していない）。

一方で、同じレビューは「話題的関連性（topical relevance）と文脈内の位置（context position）が最も再現性のあるレバーであり、汎用的なヒューリスティックは効果が薄く、競合の存在が個々の施策の効果を目減りさせ、引用狙いの書き換えはむしろ検索性能を悪化させうる」とも報告しています。つまり、「何も効かない」という結論ではなく、「安定して繰り返し効く手法は見当たらないが、話題的関連性のような基本的な要因は一定の再現性を持つ」という、より解像度の高い結論です。

このサーベイは単著の査読前プレプリントであり、レビューという性質上、対象研究の選定や評価に著者の視点が反映される余地がある点は留保として押さえておく必要があります。

25万2千試行の実験が示したこと

Vishwakarma、Kumar、Jamidarの3氏による研究は、6つのLLMを対象に25万2千試行の統制実験を行いました。実験の内容は、既に回答生成の文脈中にある2つの候補ソースのうち、どちらが最初に引用されるかを検証するというものです。混合効果モデルによる分析の結果、「話題的関連性とリスト内の位置が、最初に引用されることの最大の駆動因であり、価格情報や直近のタイムスタンプを明示することも一貫して効果がある」と報告されています（arXiv:2605.25517）。この研究は第49回ACM SIGIR国際会議（SIGIR '26、2026年7月20〜24日、メルボルン）に採択されています。

ここで重要な留保が2つあります。1つは、著者3名全員がGEO関連SaaSベンダーであるSprinklrに所属していることです。「GEOは最適化可能である」という結論には、商業的な利益相反が存在します。実験設計や統計処理自体の妥当性とは別に、結論の解釈やフレーミングにこのバイアスが影響していないかを割り引いて読む必要があります。

もう1つは、実験の対象そのものです。この実験は「既に文脈に入っている2つのソースのうち、どちらが先に引用されるか」という順位づけの問題を扱っており、「そもそも自社の情報が文脈に入るかどうか」「引用されることが実際の集客につながるかどうか」は測定対象に含まれていません。

「引用順位が上がる」を「集客が増える」と読み替えない

ここが、この記事で最も強調したい混同ポイントです。25万2千試行の実験結果を、「話題的関連性を高めれば、有機的な発見可能性や集客が向上する」という主張の根拠として使うことはできません。実験が測定したのは、既に土俵に上がった候補間での順位であって、そもそも土俵に上がるかどうかではないためです。

逆方向の単純化にも注意が必要です。45研究のサーベイの結論を「GEOは無意味だ」と一言でまとめてしまうのも、原文の主張を超えています。サーベイが示したのは「安定的・長期的・プラットフォーム横断の因果効果を示した手法が無い」という限定的な主張であり、短期的・条件付きの効果や、話題的関連性のような基本的な要因の再現性まで否定してはいません。

確かなことは、「既に文脈に入っているソース間での引用順位に、話題的関連性・リスト内の位置・価格情報・直近のタイムスタンプが影響する」という点です。これは25万2千試行という大規模な実験で確認されています。まだ不確かなことは、「そもそも文脈に入るかどうか」「入った結果として有機的な発見可能性や集客が実際に向上するかどうか」です。45件の既存研究を横断してレビューしても、この段階で安定した因果効果を示した手法は報告されていません。

提案や施策を評価するときに立てるべき問い

自社が受け取るLLMO・GEOの提案や、社内で検討している施策を評価するときは、次の問いを立てると、混同を避けやすくなります。

• その「効果」は、発見可能性・集客の段階の話か、それとも既に文脈に入った後の引用順位の段階の話か。この記事で見た2つの研究のように、同じ「LLMOの効果」という言葉でも指している段階が異なれば、実証の状況もまったく異なる
• 効果を主張する側に、Sprinklrの例のような商業的な利益相反は無いか。あるとしても、それだけで結論を無視してよいわけではないが、フレーミングを割り引いて読む必要がある。利益相反がある研究者や企業が「効果がある」と主張すること自体は不自然ではなく、問題はその主張を無条件に受け取ってしまうことにある
• その効果は「安定的・長期的・プラットフォーム横断」なのか、それとも特定の条件・時点でのみ確認されたものなのか。45研究のサーベイが示したように、この水準まで確認された手法は今のところ報告されていない
• サンプルサイズや試行回数はどの程度か。25万2千試行という規模は大きいが、それでも「既に文脈に入っているソース間の順位」という限定された現象を対象にしている点は変わらない

この4つを問うだけで、「効果があります」という一言の主張が、実際にはどの段階の、どの程度の確実性を持つ主張なのかが見えやすくなります。逆に言えば、これらの問いに具体的に答えられる提案は、それだけで根拠の解像度が一段階高いと判断してよいでしょう。

自社で試せる最小の検証

大がかりな追加調査をしなくても、次の1つの問いを最近受けたLLMO・GEO関連の提案や事例に当てはめてみてください。「その効果は、パイプラインのどの段階（引用順位か、発見可能性・集客か）で測定されたものですか」と、提案者に問い直してみることです。この問いに具体的に答えられるかどうかが、その提案の根拠の解像度をそのまま映し出します。答えに詰まる、あるいは「両方とも同じことです」と返ってくる場合は、その提案の効果測定がどの段階を指しているのか、まだ十分に整理されていない可能性があります。

この検証は、予算や工数を配分する場面でこそ効いてきます。「引用順位を上げる施策」と「発見可能性そのものを高める施策」は、必要な打ち手も評価に使う指標も本来別物です。前者は既に候補に入っている状態を前提に、話題的関連性やコンテンツ内の位置づけを整える作業になりますし、後者はそもそも候補に入るための、より上流のコンテンツ設計や情報の構造化に関わる作業になります。この区別をつけないまま「LLMO施策」として一括りに予算化すると、実際にはどちらの段階に効いているのか分からないまま投資が続くことになりかねません。段階を分けて問い直すという1つの習慣が、その一括りを解きほぐす最初の一歩になります。

llms.txtという個別施策単体の効果を大規模データで検証した記事は別にあります（llms.txtは効果があるのか）。また、LLMO対応をどこから始めるべきかという優先順位の整理は、LLMO対応の準備ガイドで扱っています。この記事はそれらとは別に、「効果の主張そのものをどう評価するか」という一段上の判断軸を扱うものです。

自社が受けているLLMO関連の提案や施策の根拠を、この記事の問いに沿って整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。