2026年10月8日にstatsmodels 0.15のOLS/WLS/GLS本文とscikit-learnの交差検証本文を再確認した。回帰は変数間の関係を要約したり未見データを予測したりするモデルで、係数・R²・p値・予測誤差は別の問いに答える。独立性、分散、自己相関、欠測、外れ値、設計、データ分割を点検し、観察データの係数や相関をそのまま原因・施策効果・将来保証と読まない。
広告費と問い合わせ数の関係を知りたいとき、回帰分析は「観測した範囲で、どのような関係があるか」を式にできます。ただし、傾きが正でも、広告費を増やせば同じだけ問い合わせが増えるとは限りません。繁忙期に予算も需要も増える、といった別の説明が残るからです。
この記事では、実在の顧客や施策成果を使わず、架空の5店舗の数値で係数・残差・R²を計算します。計算できること、統計的な推測、事業判断を順に分けて読みます。
30秒で要点
表が収まらない場合は、横にスクロールできます
| 知りたいこと | 最初に見るもの | それだけでは分からないこと |
|---|---|---|
| どの程度一緒に変わるか | 散布図、係数と単位 | 施策の因果効果 |
| 手元のデータに合うか | 残差、R² | 未知のデータでの予測精度 |
| 係数の不確かさ | 標準誤差、区間、検定の前提 | 投資する価値、仮説が正しい確率 |
| 実務に使えるか | 別期間・別対象での誤差、費用、運用条件 | 将来の成果保証 |
平均と「観測値から予測値を引く」計算が分かれば、以下の例は追えます。まず単位を揃え、次に式を読みましょう。
単回帰：係数と誤差を区別する
説明変数が1つの直線モデルは次の形です。
yi = β0 + β1xi + εi
表が収まらない場合は、横にスクロールできます
| 記号 | この例での意味 |
|---|---|
| x | 同じ集計期間の店舗別広告費。単位は10万円 |
| y | 同じ期間の問い合わせ数。単位は10件 |
| β₀ | モデル上でxが0のときの切片 |
| β₁ | xが1単位異なるときの、モデルが表すyの平均的な差 |
| ε | モデルで表しきれない誤差。直接観測できる量ではない |
データから推定した係数にはハットを付け、予測値を「ŷ」、観測値との差を「残差e」と呼びます。
ŷi = β̂0 + β̂1xi、 残差 ei = yi - ŷi
最小二乗法が最小にするのは残差の二乗和です。残差をそのまま足すと正負が打ち消し合うため、ずれの大きさを比べられません。NISTの最小二乗法の説明も、この基準と傾き・切片の推定式を示しています。
架空の5店舗から傾き0.9を計算する
以下は計算練習用に作った5点です。同じ長さの期間、同じ問い合わせ定義で集計した、と仮定します。実際の店舗の予算配分をランダム化したデータではありません。
表が収まらない場合は、横にスクロールできます
| 店舗 | 広告費x（10万円） | 問い合わせy（10件） | 予測値ŷ（10件） | 残差e（10件） | 残差の二乗 |
|---|---|---|---|---|---|
| A | 1 | 2 | 2.2 | -0.2 | 0.04 |
| B | 2 | 3 | 3.1 | -0.1 | 0.01 |
| C | 3 | 5 | 4.0 | 1.0 | 1.00 |
| D | 4 | 4 | 4.9 | -0.9 | 0.81 |
| E | 5 | 6 | 5.8 | 0.2 | 0.04 |
平均はxが3、yが4です。各行で平均からの差を作ると、xの偏差の二乗和は10、xとyの偏差の積の和は9になります。
β̂1 = [Σi(xi - x̄)(yi - ȳ)] / [Σi(xi - x̄)2] = 9/10 = 0.9
β̂0 = ȳ - β̂1x̄ = 4 - 0.9 × 3 = 1.3
したがって予測式はŷ=1.3+0.9xです。この表では、広告費が10万円異なる店舗同士について、予測される問い合わせ数に9件の差があります。「10万円追加すれば9件獲得できる」という効果測定の結果ではありません。
切片1.3も、「広告なしで13件集まる」と実証した値ではありません。表の広告費は10万〜50万円であり、x=0は観測範囲の外です。予算100万円への外挿も、この5点だけでは支えられません。新規顧客・商圏・広告内容の違いを調べる必要があります。
R²は0.81。でも「81%の確率で当たる」ではない
平均y=4を全店舗の予測に使うと、観測値との差の二乗和は10です。今回の直線では残差の二乗和が1.9なので、次の値になります。
R2 = 1 - [Σi(yi - ŷi)2] / [Σi(yi - ȳ)2] = 1 - 1.9/10 = 0.81
これは、この標本で平均だけを使う予測に比べ、残差平方和が81%小さくなったという読み方です。問い合わせの81%を広告が生んだ、予測が81%の確率で的中する、という意味ではありません。
ここで0〜1になるのは、切片を含む最小二乗法を、当てはめに使った非一定のyで評価する条件です。別データに対する同じ指標は負にもなります。yがすべて同じなら分母が0になり、この式では定義できません。ソフトが便宜上0や1を返す場合もあるため、設定を確かめます。scikit-learnの公式説明は、負値と一定のyの扱いを明記しています。
R²が1になるデータはあり得ます。それでも因果や将来予測を保証しません。同じ行で説明変数を追加すると通常のR²は下がらないため、自由度調整済みR²や、学習に使っていない対象での誤差も検討します。今回の5点は計算練習に留め、モデルを運用する根拠にはしません。
p値は何を条件にして読むか
係数の検定では、たとえば「母集団の傾きβ₁=0」を帰無仮説にします。帰無仮説と検定モデルの前提の下で、観測した検定統計量以上に極端な値が出る確率がp値です。β₁=0である確率ではありません。
この5点について、直線の条件付き平均が適切で、誤差が独立・等分散・正規分布、説明変数に関する条件も妥当だと仮定した古典的な両側t検定を、計算練習として行います。5観測から切片と傾きの2係数を推定するため残差自由度は3です。
表が収まらない場合は、横にスクロールできます
| 計算 | 値 |
|---|---|
| 残差分散の推定値：1.9÷3 | 約0.6333 |
| 傾きの標準誤差：√(0.6333÷10) | 約0.2517 |
| t値：0.9÷0.2517 | 約3.5762 |
| 自由度3の両側p値 | 約0.0374 |
0.0374を見て「広告効果がない確率は3.74%」「効果が96.26%の確率である」とは言えません。0.05を境に事業判断を自動化することも避けます。効果量、不確かさ、分析対象・除外・試したモデル、追加コストを併せて説明するのが必要です。ASAの声明も、p値は仮説の真偽の確率や効果の大きさを表さず、閾値だけで判断しないとしています。
重回帰：変数を足す前に、何を固定するか決める
説明変数が複数なら、旧来の単回帰式を次のように広げます。
yi = β0 + β1x1i + β2x2i + … + βpxpi + εi
たとえばx₁を広告費、x₂をセール期間なら1・通常期間なら0とする変数にできます。β₁はモデルに入れた他の変数を固定したときの関係です。実際に条件が揃う店舗がほとんどなければ、係数の解釈は不安定になります。
架空の式の読み取り例として、ŷ=1+0.5x₁+2x₂を考えます。これは上の5店舗から推定した式ではありません。広告費x₁=4なら通常期間の予測は3、セール期間は5で、差は2（20件）です。セールを実施すれば20件増えるという因果の証明にはなりません。
訪問者数やページビューを両方入れる場合は、強く連動していないか確認します。係数の符号がモデルごとに反転するなら、単に大きい係数を「最重要」と並べないでください。単位も異なるため、係数の絶対値だけで順位は付けられません。また、広告の結果として増える訪問者数を固定すると、広告の総効果とは違う問いになります。予測用の変数選択と因果推論用の調整を混ぜないことが必要です。
実務で残す確認表
NISTのモデル確認は、R²だけでなく残差を見る重要性を説明しています。次の表は、Web業務で使うための作成者による確認例です。表が収まらない場合は、横にスクロールできます
| 観察・用途 | 確認すること | 次の行動 |
|---|---|---|
| 残差が曲線状に並ぶ | 直線の形が足りない可能性 | 変換や別の関数形を検討し、別データで確認 |
| 予測値が大きいほど残差が広がる | 等分散の前提 | 標準誤差の扱いを含めて分析方法を見直す |
| 日付順に残差が続けて同じ符号 | 時系列の依存・季節性 | ランダム分割だけに頼らず、過去から未来への検証を設計 |
| 1点を外すと傾きが大きく変わる | 記録誤りか、有用な例外か | 理由なく除外せず、含む場合と含まない場合を説明 |
| 目的が来月のLTV予測 | 予測時点で知り得る変数か | 将来の購買結果が説明変数に混ざっていないか確認 |
| 目的が購入・離脱の0/1予測 | 目的変数の型 | ロジスティック回帰など、確率を扱うモデルも検討 |
ページ速度とCVRの関係でも、分母・端末・流入・期間を揃えます。「0.1秒改善で何%変わるか」を係数だけで因果効果として報告しないでください。相関を見つけたら、条件を明示した実験計画や比較設計につなげます。
記入済みの判断メモ
対象は架空5店舗、同じ期間の広告費と問い合わせ数。観測範囲内では傾き0.9、R²0.81。商圏と需要期の違いは未調整。現時点の結論は関連の記述であり、予算増額の効果は未確認。次は問い合わせ定義を揃え、予算配分の理由を記録し、実験可能性を検討する。
目的、対象、式、適用範囲、未確認の条件、次の判断を1枚に残せば、「高いR²だけが一人歩きする」ことを防ぎやすくなります。
関連記事
- 統計学超入門：平均やばらつきの整理
- 探索的データ分析ガイド：式を作る前のデータ確認
- 統計的仮説検定入門：帰無仮説と検定の読み方
- 相関と因果の違い：比較群と交絡を具体例で確認