同じ「ROI 3」が別の数字を指している｜MMMと増分実験は、何と比べた結果なのか

同じ「ROI 3」が別の数字を指している｜MMMと増分実験は、何と比べた結果なのか

MMM（マーケティングミックスモデリング）を導入した、あるいはベンダーから提案を受けた担当者が最初に戸惑うのが、「社内で回してきたA/Bテスト（2案を同時に比較する実験）や地理実験のROIと、MMMが出すROIが一致しない」という状態です。どちらも同じ「ROI」という言葉を使っているのに、数字が違う。この記事では、Google公式ドキュメント「Meridian: ROI priors and calibration」の記載に基づいて、この不一致がどこから生まれるのかを整理します。

30秒で要点

• Google公式ドキュメントは、実験とMMMはしばしば推定対象（estimand）が異なり、ROIの定義そのものが違うと明記している
• MMMの反実仮想（比較対象の基準線）は「支出ゼロ」、実験は「支出を減らした状態」など別の基準線になることがある
• 実験結果をMMMの事前分布にそのまま翻訳する単一の公式は存在しない
• 過去実験をMMMの較正に使う前に、時期・期間・粒度・母集団・混在・推定対象の6点を確認する必要がある
• MMMの事前分布は固定ではなく出発点だが、弱すぎる事前分布は誤った推定のリスクを高める

なぜ「同じROI」のはずなのに数字が食い違うのか

チャネル配分の会議で、MMMが弾いたROIと、直近の地理実験やA/Bテストが示したROIを並べると、しばしば大きな差が出ます。多くの現場では、この差を「どちらかの計算精度が低い」「サンプルサイズが足りない」といった精度の問題として捉えがちです。実際、精度の問題であるケースも存在します。

しかし、Google公式ドキュメントが指摘しているのは、精度以前の問題です。「experiments and MMMs often have different estimands and measurement goals. In other words, they define ROI in different ways.」――実験とMMMは、そもそも「何を測っているか」が違うことがある、という指摘です。ROIという同じ名前の指標の裏に、異なる分母（比較対象）が隠れている場合、どれだけ精度を上げても数字は一致しません。「同じ言葉を使っているのだから同じものを測っているはずだ」という思い込みが、この不一致を精度の問題として誤って処理させてしまう構造があります。

反実仮想が違えば、ROIの「分母」が変わる

ROIという指標は「投資に対してどれだけのリターンがあったか」を表しますが、その計算には必ず比較対象（反実仮想）が必要です。同ドキュメントは、MMMの反実仮想は原則として「そのチャネルへの支出がゼロだった場合」であるのに対し、実験は「支出を減らした状態」など、ゼロではない別の基準線でROIを定義することがあると説明しています。「The MMM counterfactual is zero spend, whereas some experiments might define ROI against a different baseline, such as reduced spend (a non-zero counterfactual). Experiments measuring marginal lift introduce an estimand mismatch with the MMM's zero-spend counterfactual.」

具体的には、限界的なリフト（既存の支出額から一定割合だけ増減させたときの効果）を測る実験は、「支出をゼロにしたらどうなるか」というMMMの前提とは異なる問いに答えています。特に、すでに一定の効果が出ている（飽和した）チャネルでは、「ゼロから始めた場合の効果」と「今の水準から少し増減させた場合の効果」は大きく異なることがあり、この2つのROIを単純に比較すると、実態以上に食い違って見えることになります。ここでのROIの「分母」は支出額という単位こそ共通していても、その支出額をどこからどこまでの変化として捉えるか（反実仮想の位置）が異なるため、実質的には別の指標を比較していることになります。

ROIという指標を数式のように書くと「増分収益 ÷ 支出額」という単純な形になりますが、ここで見落とされがちなのは「増分収益」という言葉自体が、何と比べた増分なのかを含んでいるという点です。分子である増分収益は、反実仮想（比較対象の基準線）が変われば別の数値になります。支出をゼロにした場合と比べた増分収益、支出を今より2割減らした場合と比べた増分収益は、同じチャネルの同じ期間のデータを使っていても、原理的に異なる値になり得ます。つまり「分母は支出額、分子は増分収益」という定義だけでは、ROIの計算式として不完全であり、反実仮想という3つ目の要素を明示しない限り、2つのROIを並べて比較することはできません。

現場でこの違いが見過ごされやすい理由

なぜ、この基準線の違いはこれほど見過ごされやすいのでしょうか。1つの理由は、MMMのレポートも実験のレポートも、最終的な出力形式が「ROI: 3.2」のような単一の数値に集約される点にあります。レポートの見た目が同じであるため、受け取る側は「同じ計算方法で出た数字」だと無意識に仮定してしまいます。分析手法の違い（統計モデルか、実際に介入する実験か）には注意が向きやすい一方で、「その手法が内部でどの基準線と比較しているか」という、より上流の前提には注意が向きにくい構造があります。

もう1つの理由は、意思決定の現場では「チャネルへの投資を続けるか、減らすか、増やすか」という増減の判断をすることが多いため、感覚的には実験が測っている「支出を変えた場合の効果」の方が、意思決定に直結しているように感じられる点です。この感覚自体は間違っていませんが、だからといってMMMが出すROI（多くの場合、支出ゼロを基準線にした数字）が「間違っている」ということにはなりません。両者は異なる問いに答えているだけであり、どちらか一方が正しい答えでもう一方が誤った答えだ、という優劣の関係にはない点が、公式ドキュメントの記述からは読み取れます。

実験結果をMMMにそのまま流用できない理由

過去に実施したA/Bテストや地理実験の結果を「そのままMMMの精度向上に使えないか」と考えるのは自然な発想です。しかし同ドキュメントは「There is no single formula to translate an experiment result into a prior.」と明記しています。単一の変換公式が存在しない理由として、「translating them into an MMM prior involves an additional layer of uncertainty beyond just the experiment's standard error.」――実験結果をMMMの事前分布に翻訳する作業自体が、実験結果そのものが持つ標準誤差（測定のばらつき）に加えて、さらに別の不確実性を上乗せする、と説明されています。

つまり、実験の結果が統計的に有意で精度が高かったとしても、それをMMMの事前分布として使う変換の過程で、新たな不確実性が生まれます。「実験結果は正確だったのだから、MMMにそのまま入力すれば正確な事前分布になる」という発想は、この変換過程の不確実性を見落としています。

過去実験を使う前に確認すべき6点

同ドキュメントは、過去の実験結果をMMMの較正に使う前に検討すべき項目として、次の6つを挙げています。

1. 実施時期（Recency）: 実験を行った時期が現在の市場環境・広告構造とどれだけ近いか
2. 期間（Duration）: 実験期間が短すぎて、季節性や遅延効果を捉えきれていないか
3. 測定粒度（Media granularity）: 実験が測っているのが特定のキャンペーン単位か、チャネル全体かという粒度の違い
4. 対象母集団の差（Population differences）: 実験対象の地域・セグメントと、MMMが扱う全体の対象母集団がどれだけ異なるか
5. 複数チャネルの混在（Complexity）: 実験期間中に他のチャネルの活動も同時に変化していなかったか
6. 推定対象のズレ（Estimand differences）: 前述の反実仮想の違いによって、そもそも測っている対象が異なっていないか

この6点は、実験結果を「参考値」として扱うか「MMMへの入力」として扱うかを判断する際の点検リストとして機能します。1つでも大きくズレている場合、その実験結果をMMMの較正にそのまま使うと、かえってモデルの推定を歪める可能性があります。

事前分布は「動かせる出発点」であり、弱すぎることにもリスクがある

MMMの事前分布は、一度設定したら固定される制約ではありません。同ドキュメントは「priors are not rigid constraints but rather starting points. If the data presents strong evidence that contradicts the prior, the model will adjust accordingly.」と説明しており、データが事前分布と矛盾する強い証拠を示せば、モデルはそちらに調整されます。

一方で、事前分布を「弱く」「無情報」なものにしておけば安全だ、という考え方にも同ドキュメントは注意を促しています。無情報な事前分布は、支出の少ないチャネルが実際には莫大な収益を生んでいる、という誤った推定を許してしまうリスクがあると警告されています。事前分布は「動かせるが、何も仮定しないことが最も安全というわけでもない」という、単純な二択ではない性質を持っています。

なお、このMeridianはGoogleが開発したオープンソースのMMMであり、MMMを較正するための地理実験フレームワーク「Meridian GeoX」も提供されています。実験とMMMの推定対象のズレという問題自体が、こうした較正の枠組みが必要とされる背景になっています。

判断軸の提示

MMMと実験のROIが食い違ったときは、「どちらが正しいか」を先に問わず、「それぞれが何と比べた数字か」を先に確認すること。MMMは支出ゼロを基準線にしていることが多く、実験は支出の増減という別の基準線を使っていることがあります。この基準線を揃えないまま数字だけを比較すると、精度の問題ではない食い違いを精度の問題として処理してしまいます。過去実験の結果をMMMに反映させたい場合も、変換の公式を探すのではなく、時期・期間・粒度・母集団・混在・推定対象の6点を先に点検する方が、実態に近い判断につながります。

確かなことと、まだ確かではないこと

確かなこと: Google公式ドキュメント（Meridian）が、実験とMMMのROIの定義がしばしば異なること、MMMの反実仮想は原則ゼロ支出であること、実験結果をMMMの事前分布に変換する単一の公式が存在しないこと、過去実験を使う前に確認すべき6項目、事前分布が固定ではなく調整されうること、無情報な事前分布のリスクを、それぞれ明記していること。

まだ確かではないこと: 個別の企業・チャネルにおいて、実験とMMMのROIがどの程度の幅で食い違うのが「正常な範囲」で、どこからが真の誤差なのかという具体的な数値基準は、公式ドキュメントでは示されていません。この判断は、自社のデータと状況に照らして個別に行う必要があります。

自分でも試せる、最小の検証

直近で実施したA/Bテストや地理実験を1つ選び、その実験が「支出をゼロにした場合」を基準線にしていたのか、それとも「支出を一定割合増減させた場合」を基準線にしていたのかを確認してみてください。その基準線が、社内で参照しているMMM（またはベンダーが提供するMMM）の反実仮想の定義と一致しているかどうかを突き合わせるだけで、ROIの数字が食い違う理由の少なくとも一部が見えてきます。

この記事で扱ったような判断を、自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。