統計的思考でビジネスを判断する：数字・原因・採用を分ける

購入率が上がった。だから変更は成功だった。その結論を急ぐ前に、数字に答えてもらう問いを分けてみます。「実際に何が起きたか」「変更が原因だったか」「この変更を続ける価値があるか」は、同じ問いではありません。

統計的思考とは、データの作られ方と不確実性を確かめ、言える範囲に合わせて判断することです。集計や検定を覚えるだけでなく、数字が答えられない部分も記録します。ここでは、施策の報告を受けて採用を決める人に向けて、割合の読み方から比較の設計までを整理します。

30秒で要点

• 割合には分子・分母・期間を添えます。「50%増」と「1ポイント増」は両立します。
• 人数を増やすことと、偏りを減らすことは別です。平均だけでなく分布も見ます。
• 小さいp値は成功保証ではありません。差の大きさ、残る不確実性、費用と悪影響を合わせます。

最初の計算や道具選びから確認したい場合は、データ分析の入口で、何を一件と数えるかから始められます。

どこから読むか — 自分の状況から選ぶ

この記事は数字・原因・採用を分ける考え方を扱います。個別の手法と指標はそれぞれ別の記事にあります。

用語の段階から揃えたい。 要約と推測の区別は統計学とは？、最初の一歩はデータ分析のための統計学超入門、検定の位置づけはビジネス意思決定のための統計的仮説検定。

検定や回帰の読み方を知りたい。 A/Bテストの数字はp値・信頼区間・効果量をどう読むか、関係を式にするなら線形回帰の使い方、2群比較はt検定、割合の比較はカイ二乗検定。

どの手法を選ぶか決めたい。 全体像はデータサイエンス手法の全体像、多変量の選び分けはビジネスで使う多変量解析、分類ならクラスター分析と判別分析（LDA/QDA）。

人の判断の癖を扱いたい。 直感と熟考の区別はシステム1とシステム2とは？、損得の非対称はプロスペクト理論とは？、過去の投資に縛られる構造はサンクコスト効果と意思決定、都合のよい情報を集める罠は確証バイアスと意思決定。

数字を採算の判断につなげたい。 目標とのつなぎ方はKPIとは？、採算の分岐は損益分岐点とは？、赤字案件の判断は限界利益とは？、他社比較の前提はEBITDAは会計基準が定義した利益ではない。

時間の経過を見たい。 いつ辞めるかを読むなら生存時間分析とは？、前月比の誤読は季節調整値とは？。

効果の大きさを比べたい。 同じROIが別物を指す話は何と比べた結果なのか、効果量の読み方はナッジ施策は「導入すれば効くはず」と信じてよいのか。

同じ差でも、分母と表現で印象が変わる

以下は計算を説明するための仮想データです。ある期間に対象者1,000人のうち20人が購入し、別の期間には1,000人のうち30人が購入したとします。各人を一度だけ数え、購入を確認する期間も同じとします。

表が収まらない場合は、横にスクロールできます

どちらの差の表現も計算上は正しくても、「50%改善」だけでは元の規模が見えません。人数と率、絶対差を一緒に示すと、必要な対応量や費用を考えられます。

そして、この表が直接示すのは前後で観測した差です。季節、広告の配信先、価格、計測方法も変わっていれば、差をすべて施策の効果にはできません。検定を追加しても、比較の作り方の問題は消えません。

データに入った人と、知りたい全体を分ける

母集団は知りたい対象全体、標本は実際に調べた一部です。仮に顧客1,000人へ回答を依頼し、100人が回答、そのうち80人が満足と答えたなら、満足は回答者の80%です。回答は依頼対象の10%で、残る900人の回答は分かりません。

未回答者の満足度は、回答者より低い場合も高い場合もあります。低い回収率だけから偏りの向きは決められませんし、「1,000人に送った調査だから全顧客の80%が満足」とも言えません。AAPORの調査指針は、対象と抽出の仕組み、回答の集まり方、質問文や方式を確かめるよう説明しています。

ここでは二つの問題を分けます。同じ条件でも、調べる人を入れ替えれば割合は多少変わります。これが標本によるばらつきです。一方、退会者には届かないなど、特定の人が構造的に含まれない問題は選択の偏りです。独立した標本を同じ条件で増やせば推定のばらつきは小さくなることがありますが、後者が自動的に直るわけではありません。

アクセスログにも、同じ人の再訪、計測への同意の有無、記録の欠落があります。「利用者全体」なのか「計測できた対象」なのかを、数字の名前に含めてください。

平均・中央値・分布は違う問いに答える

仮想の対応時間が 2、3、3、4、18分だったとします。合計は30分、平均は6分、順に並べた中央の値である中央値は3分です。最も多い値である最頻値も3分です。

「普段どれくらい待つか」を考えるときは中央値や分布が助けになります。一方、「担当者が何分働いたか」なら合計30分が必要です。平均が大きいから誤り、中央値なら正解、という関係ではありません。NISTの中心の指標の説明も、分布の形によって見え方が変わることを示しています。

18分の記録も、入力ミスか、難しい問い合わせへの正当な対応かを確認します。大きいという理由だけで削ると、実際の負担を隠します。件数が増えたらヒストグラムなどで分布を描き、標準偏差（平均からの散らばりの尺度）や四分位範囲（中央半分が占める幅）も、目的に応じて添えます。

関連が見えても、操作の効果とは限らない

サイトで長く過ごした人ほど購入していたとしても、「滞在時間を延ばせば売れる」とはまだ言えません。例えば購入意欲が高い人ほど詳しく読み、購入もするという共通原因が考えられます。比較に別の要因が混ざる、交絡の例です。

購入した後の確認ページまで含めて時間を測れば、購入という結果が記録上の滞在時間を長くする可能性もあります。こちらは向きの違う説明です。購入意欲を共通原因とする説明と混ぜず、何をいつ測ったのかを確かめます。

NISTの散布図の解説は、関連だけから因果を証明できないと説明しています。著者公開の因果図の教材でも、矢印は仮定を整理する道具です。図を描くこと自体が証明にはなりません。

施策の効果を調べたいなら、対象を無作為に分けるA/Bテストなどを検討します。ただし、割付の単位、他の利用者への影響、記録漏れや離脱の扱いを確認します。観測データで調べる場合も、比較対象と仮定が必要です。因果推論の入口で、その違いをたどれます。

p値と区間から、何を読み取るか

p値は、帰無仮説と統計モデルが成り立つと仮定したとき、観測値以上に極端な検定統計量が出る確率です。帰無仮説には「二つの群の購入率は等しい」などを置きます。NISTの定義に沿って、まず何を仮定した計算かを確認します。

p値が0.03でも、「差がない確率が3%」「偶然が原因の確率が3%」ではありません。事前に決めた有意水準より小さければ統計的に有意と呼びますが、原因の特定、効果の大きさ、利益を保証しません。ASAの六原則も、閾値だけで事業判断をしないよう示しています。

信頼区間は、差や平均の推定にどの程度の不確実性が残るかを見る材料です。通常の95%信頼区間の95%は、前提の下で同じ抽出と計算を繰り返すと、長期的に約95%の区間が真の値を含むという手順の性質です。得た一つの区間に真の値が95%の確率で入る、という説明ではありません。NISTの平均の区間の説明で確認できます。

区間が広く、有益な差と有害な差の両方を含むなら、結論を絞れるほど情報がない可能性があります。有意でないことを「同じと証明した」と読み替えないでください。反対に大人数では、小さな差でも有意になり得ます。比較設計が適切かと、採用に値する大きさかは別に判断します。

検証前に決めておくこと、結果の後に残すこと

「良い結果が出たら採用」では、結果を見ながら良いの意味を動かしてしまいます。仮想の購入率の例なら、次のような項目を先に一枚に書きます。

表が収まらない場合は、横にスクロールできます

Microsoftの実験前の指針でも、仮説・指標と割付単位の設計が扱われています。数人への操作確認はつまずきの発見に役立ちますが、その人数だけで購入率の小さな差まで判定できるとは限りません。

固定期間の検定を毎日行い、有意になった日だけ成功として終えると、予定した誤検出率を保てません。早く判定したい場合は、繰り返し判定に対応する方法を事前に選びます。一方、重大な不具合を止める安全上の判断は、成功を宣言する判断と別です。実験分析のチェックリスト研究は、この両方を区別して扱っています。

最小の着手は、手元の報告を一つ選び、元の数件と集計を照合することです。分母・除外・期間の定義が合っているか、原因まで言っていないかを確認します。その後、採用・見送り・追加検証の理由と見直す条件を残します。数字を増やす前に、どの不確実性を減らすと判断が変わるかを考えられる状態が出発点です。

具体的な率と区間の計算はA/Bテストのための統計学、判断の誤りを横断して点検する場合は統計で判断を壊さないための入口へ進めます。

参考資料・引用元

本記事は2026年10月8日に以下の一次資料を再読し、記述を確認しています。

• ASA のp値声明
• NIST のサンプルサイズ説明
• statsmodels の多重比較補正

問い、データ生成、設計、推定、不確実性、意思決定を分けて扱います。p値・検出力・FWER/FDR を、経済価値・安全性・因果の保証として扱うことはできません。