ロジスティック回帰とは？「回帰」なのに分類に使う理由

ロジスティック回帰とは？「回帰」なのに分類に使う理由

線形回帰を理解したあと、多くの人が次につまずくのがロジスティック回帰です。「回帰」という名前がついているのに、実際にやっていることは「起きる/起きない」を予測する分類問題だと聞いて、混乱した経験はないでしょうか。この名前と実態のズレこそが、ロジスティック回帰を理解するうえで最初に整理すべきポイントです。

この記事では、なぜ「回帰」という名前で分類問題を解くのかという疑問を起点に、線形回帰との地続きの関係、確率への変換の仕組み、そして「正解率が高ければ良いモデル」とは限らない理由までを、与信・解約予測・コンバージョン予測のような二値分類の実務課題に取り組む担当者向けに整理します。

30秒で要点

• ロジスティック回帰は、名前に「回帰」とあるが、scikit-learnの公式ドキュメントでは「機械学習の用語法では回帰ではなく分類のための線形モデル」と説明されている（scikit-learn公式ドキュメント）
• 線形回帰の出力をロジスティック（シグモイド）関数で0〜1の確率に変換し、既定では0.5を境界（閾値）として分類する
• 一般化線形モデル（GLM）の特殊ケースであり、線形回帰と地続きの手法として理解できる
• 正解率だけでモデルの良し悪しを判断するのは危険。分母と分子を明確にした複数の指標を目的に応じて使い分ける必要がある

なぜ「回帰」という名前で分類問題を解くのか

線形回帰は、説明変数から連続的な数値（売上金額、来客数など）を予測する手法です。ロジスティック回帰という名前を初めて聞くと、多くの人はこの延長線上にある「別の数値を予測する回帰手法」だと想像します。ところが実際に扱う対象は、「解約する/しない」「与信を通す/通さない」のような二値、つまり分類問題です。

この混乱が起きるのは、線形回帰で学んだ「回帰=数値予測」という理解パターンを、名前が似ているという理由だけでそのまま持ち込んでしまうためです。scikit-learnの公式ドキュメントは、この点について明確に注記しています。「名前に反して（Despite its name）、scikit-learn/機械学習の用語法では回帰ではなく分類のための線形モデルとして実装されている」というものです（scikit-learn公式ドキュメント）。

ただし、この「回帰ではない」という説明は機械学習ライブラリの立場からのものです。統計学の文脈では、ロジスティック回帰は「0か1かの離散的な結果ではなく、その裏にある確率という連続値を回帰的に推定している」という説明のされ方もします。つまり、名前が単純な誤りだというわけではなく、「何を予測しているか」という捉え方の違いによって、回帰とも分類とも説明できる手法だということです。実務でこの手法を使う立場からは、最終的な出力を分類の判断に使うという点を押さえておけば十分です。

線形回帰とロジスティック回帰はどうつながっているか

ロジスティック回帰を「まったく新しい手法」として覚え直す必要はありません。線形回帰の出力（説明変数の重み付き合計）を、そのままシグモイド関数（別名ロジスティック関数）に通すことで、0〜1の範囲に収まる「予測確率」に変換したものがロジスティック回帰です。

具体的には、二値分類において「説明変数の重み付き合計を、シグモイド関数 1 / (1 + exp(-z))（z は線形回帰と同じ重み付き合計）に通す」ことで予測確率を求めます。この予測確率に閾値（既定では0.5）を適用することで、「解約する」「解約しない」のような分類ラベルに変換します（scikit-learn公式ドキュメント）。

さらに理論的な位置づけとして、ロジスティック回帰は一般化線形モデル（GLM）という枠組みの中で、二項分布・ベルヌーイ分布とロジットリンク関数を組み合わせた特殊ケースにあたります。GLMの詳細に踏み込む必要はありませんが、「線形回帰とまったく別の理論体系ではなく、同じ線形モデルの枠組みを確率・分類向けに拡張したもの」だと捉えると、既に持っている線形回帰の理解を土台にできます。

閾値0.5は「絶対のルール」ではない

多くの解説やライブラリの既定値では、予測確率が0.5以上なら「起きる」、未満なら「起きない」と分類します。しかし、この0.5という数字は数学的に導かれた絶対の基準ではなく、慣習的な既定値にすぎません。

ここで整理しておくべきなのは、予測を誤ったときのコストは、方向によって同じとは限らないという点です。たとえば与信審査で「実際には返済できない申込者」を「返済できる」と誤判定するコストと、「実際には返済できる申込者」を「返済できない」と誤判定するコストは、事業への影響がまったく異なります。前者を減らしたいなら閾値を上げ、後者を減らしたいなら閾値を下げるといった調整が実務では必要になります。閾値を0.5のまま固定して使うことは、「両方向の誤りを同じ重みで扱う」という暗黙の判断をしていることに等しいのです。

正解率だけでモデルの良し悪しを判断できない理由

ロジスティック回帰に限らず、二値分類のモデルを評価するときに「正解率（全体のうちどれだけ正しく予測できたか）」だけを見てしまう誤解は根強くあります。この誤解が起きやすいのは、正解率が直感的に分かりやすい指標であり、「当たった割合」という言葉のイメージが「良いモデル」という印象に直結しやすいためです。

しかし、予測したい対象がデータ全体の中でごく少数派の場合、正解率は簡単に高くなってしまいます。たとえば、実際に事象が起きるケースが全体の一部にとどまるデータに対して、「常に起きないと予測する」というモデルを作ったとします。このモデルは、事象が起きるケースを1件も正しく拾えていないにもかかわらず、多数派である「起きない」を言い当て続けるだけで見かけ上の正解率は高くなります。

この問題を避けるには、指標の分母と分子を意識することが欠かせません。「実際に起きた事象のうち、モデルが正しく検知できた割合」（分母＝実際に起きた件数、分子＝そのうちモデルが正しく検知できた件数）と、「モデルが『起きる』と予測したうちの、実際に正しかった割合」（分母＝モデルが起きると予測した件数、分子＝そのうち実際に正しかった件数）は、まったく別の意味を持つ指標です。どちらを重視すべきかは、見逃しのコストと誤検知のコストのどちらが大きいかという、業務側の判断に依存します。本記事では特定の数値例までは扱いませんが、正解率以外にどのような指標があるかは、目的に応じて確認しておくべき論点として押さえておいてください。

実装依存の選択肢があることを知っておく

scikit-learnの実装では、正則化（モデルが訓練データに過剰適合するのを防ぐ仕組み）としてL2・L1・Elastic-Net・正則化なしの4種類が選べ、最適化アルゴリズム（ソルバー）としてlbfgs・liblinear・newton-cg・newton-cholesky・sag・sagaの6種類が用意されています。既定のソルバーは、堅牢性の観点からlbfgsが選ばれています（scikit-learn公式ドキュメント）。

これらの選択肢は理論そのものというより、scikit-learnというライブラリの実装仕様です。別のライブラリや統計ソフトを使う場合、選べる正則化やソルバーの種類・既定値は異なります。「ロジスティック回帰とはこういうものだ」という理解と、「今使っているツールの既定設定はこうなっている」という理解を分けておくと、別の環境に移ったときに戸惑わずに済みます。

確かなことと、まだ確認していないこと

確かなこと

• ロジスティック回帰は、線形回帰の出力をシグモイド関数で確率に変換し、閾値を適用して分類に使う手法である
• 一般化線形モデルの特殊ケースであり、線形回帰と理論的に地続きである
• scikit-learnの実装では正則化4種・ソルバー6種が選択でき、既定ソルバーはlbfgsである

この記事で確認していないこと

• オッズ比の具体的な解釈方法、混同行列・AUCの計算例、適合率と再現率のトレードオフに関する数値的な事例。今回は一般的な考え方の紹介にとどめ、特定の研究結果や実データに基づく数値としては扱っていません
• 与信審査や解約予測など、業界別の導入効果に関する数値。裏付けとなる情報源を確認できていないため扱っていません

自分の業務データで試せる最小の検証

自分が扱っている業務データの中から、二値分類として捉えられそうな対象を1つ挙げてみてください（解約する/しない、成約する/しない、など）。それを一度「線形回帰でそのまま数値として予測しようとしたらどうなるか」を考え、次に「ロジスティック回帰で確率として予測し、閾値で分類する場合はどう変わるか」を比べてみます。線形回帰の出力は0未満や1を超える値も取り得るため、確率として解釈しようとした瞬間に不自然さが出てくるはずです。この不自然さを実感できれば、なぜ二値の目的変数に線形回帰ではなくロジスティック回帰を使うのかが、数式を暗記しなくても腑に落ちるようになります。

この記事で扱ったような、自社データの分析手法をどう選ぶべきか整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。