「みんなの意見」に確信度を足すと正答率は上がる。さらに足しても、上がらない
判断に迷ったとき、私たちは人に聞きます。会議を開き、関係者に意見を出してもらい、必要ならアンケートも取る。集めた意見が多いほど、判断は良くなるはずだ——という前提で。
ところが、集めた後に残るのは「で、結局どうする」という同じ問いだったりします。意見は増えたのに、判断は良くなった気がしない。この感覚には、それなりの根拠があるかもしれません。
この記事では、社会的情報の量を段階的に変えて正答率を比較した実験をもとに、「集めるべきは量ではなく種類だとしたら」という見方を整理します。
出典は論文「Majority views and confidence information promote informed decisions」(Yunwen He, Jaimie W. Lien, Jie Zheng、Humanities and Social Sciences Communications、volume 13, Article number 363、2026年2月18日公開)です。
情報源の扱いについて断っておきます。この論文のページは、本記事の執筆環境からは認証画面へ転送され、本文を直接取得できませんでした。以下の内容は、同じURLで本文まで到達し、逐語引用を含む記録を残した別の検証工程の記録にもとづいています。 そのため、その記録に含まれない数値や引用は本記事では扱っていません。
30秒で要点
- 実験は、True/False のトリビア50問に答えさせ、他者の情報をどこまで見せるかを4段階に変えて比較した
- 社会的情報なしの条件では、実際の正答率48.19%に対し平均確信度は74.16%で、過信の傾向が見られた
- 他者の回答分布だけを見せた条件(LI)の改善は「わずか(only minor improvements)」だった
- 回答分布に各陣営の平均確信度を加えた条件(MI)では、正答率が6.4パーセントポイント上昇した
- さらに高次信念まで加えた条件(FI)は、MIを超える追加的な利得をもたらさなかった
| 用語 | 意味 |
|---|---|
| 社会的情報 | 他の人がどう答えたか、どれくらい確信しているかといった、他者に関する情報 |
| 確信度 | 自分の答えがどれくらい正しいと思うかの度合い。この実験では50〜100の整数で回答 |
| 高次信念 | 「他の人はどう答えるだろう」「他の人はどれくらい確信しているだろう」という、他者についての予想 |
| パーセントポイント | 割合どうしの差を表す単位。48%から54%への変化は「6パーセントポイントの上昇」 |
| 事前登録 | 実験の計画や分析方法を、データを取る前に公開しておく手続き |
何を比べた実験なのか
まず設計を押さえます。参加者は歴史・地理・文学・科学などの True/False トリビア50問に回答します。問題は中国の公務員試験の問題バンクから、難易度・分野・True/False のバランスを取って選ばれています。
参加者は合計128名。4セッションそれぞれ32名が、4つの条件のいずれかに割り当てられる被験者間デザインです。平均年齢21歳(標準偏差2.1)、81.25%が女性。実施は2019年12月、北京外国語大学の実験ラボです。
4つの条件は、見せる社会的情報の量が段階的に増えていきます。
| 条件 | 見せる情報 |
|---|---|
| NI(情報なし) | 何も見せない。これがベースライン |
| LI(少ない情報) | True/False の選択頻度(=回答分布)のみ |
| MI(中程度の情報) | 回答分布 + 賛成側・反対側それぞれの平均確信度 |
| FI(全情報) | 上記に加えて、高次信念(他者の回答予想・他者の確信度予想)まで |
各条件では、まず自分で回答したあとに社会的情報を見せ、答えを改訂する機会が与えられます。同じ人が、情報を見る前と後でどう変わったかを測る設計です。
人は、自分が思っているほど当たっていない
結果を見る前に、ベースラインの状態を確認しておきます。
社会的情報を見せない NI 条件で、全体の正答率は48.19%でした。ほぼ五分五分です(True/False の2択なので、当てずっぽうとあまり変わらない水準です)。
一方、参加者自身の平均確信度は74.16%でした。48%しか当たっていないのに、74%は当たっていると思っている。 これが過信と呼ばれる状態です。
ただし、確信度がまったく無意味だったわけではありません。正解した人の平均確信度は75.52%、不正解だった人は71.94%で、正解している人のほうが確信度が高いという差がありました。差は小さいものの、確信度には正しさの信号がいくらか含まれていた、ということになります。
この2つの事実——過信しているが、確信度には信号がある——が、後の結果を読むときの鍵になります。
回答分布だけでは、あまり効かなかった
では、他者の情報を見せるとどうなるか。
まず LI 条件、つまり「他の人の回答分布だけ」を見せた場合です。論文はこれを「わずかな改善にとどまった(only minor improvements)」と表現しています。
多数決の情報だけでは、あまり効かなかったということです。これは少し意外に感じられるかもしれません。集合知という言葉から連想するのは、まさに多数派の意見が正解に近づくという現象だからです。
ただ、先ほどのベースラインを思い出すと納得できる部分があります。全体の正答率が48%ということは、多数派が間違っている問題も相当数あったわけです(問題別の正答率は0%から87.50%まで散らばっていたと記録されています)。多数派に従うことが有利になるのは、多数派が正しい確率が十分に高いときだけです。
確信度を足すと、6.4ポイント上がった
次に MI 条件、回答分布に各陣営の平均確信度を加えた場合です。論文はこれを「はるかに大きな利得(a much larger gain)」とし、正答率が6.4パーセントポイント上昇したと報告しています。
同じ「他者の情報」でも、種類を1つ足しただけで結果が変わりました。なぜかを考えると、先ほどの2つ目の事実が効いてきます。確信度には、正しさの信号が含まれていました。 正解している人のほうが、わずかとはいえ確信度が高い。
回答分布だけを見ると、「70%がTrueと答えた」という情報しか得られません。そこに確信度が加わると、「Trueと答えた70%の平均確信度は68、Falseと答えた30%の平均確信度は79」といった構造が見えます。少数派のほうが強く確信しているなら、多数決とは違う読み方が可能になります。
多数決に「どれくらい自信を持って言っているか」を添えると、判断材料としての質が変わる。 これがこの実験のいちばん実務的な部分です。
さらに足しても、上がらなかった
そして FI 条件です。確信度に加えて、高次信念——「他の人はどう答えると思うか」「他の人はどれくらい確信していると思うか」の予想——まで見せた条件では、MIを超える追加的な利得はありませんでした。
ここは正確に書いておきます。悪化した、という報告ではありません。追加の利得が無かった、という結果です。論文は、高次の情報が持つ複雑さや曖昧さが、その有用性を制限しているのかもしれない、という趣旨の解釈を添えています。
高次信念そのものについても、この実験は踏み込んだ観測をしています。
- 「自分と同じ答えを選ぶ人」の予想は平均68.93%だったが、実際の一致率は59.80%。他人も自分と同じように考えると見積もりすぎる傾向があった
- 「半数未満しか同意しないだろう」と予想した回答は、全体のわずか6.75%
- 逆に、他者の確信度は過小評価されていた(予想平均71.96%に対し実際は74.16%)
- そして決定的に、高次信念は正解・不正解を有意に区別しなかった(同意者割合の予想は67.68%対67.87%、他者確信度の予想は71.84%対70.95%)
論文はこの点をこう結論づけています。「高次信念は心理的には意味があるかもしれないが、回答の正確さを信頼できる形で診断するものではない」。
なぜ「情報は多いほど良い」と考えてしまうのか
追加の情報が効かなかったという結果は、直感に反します。この直感がどこから来るのかを考えておく価値があります。
ひとつは、情報を集めることのコストが、集める側から見えにくいことです。アンケートに項目を1つ足すのは、設計する側にとっては1行の作業です。しかし答える側の負担は増えますし、集まったデータを読む側の負担も増えます。増えた分が判断に寄与しているかどうかは、測らない限り分かりません。
もうひとつは、集めた情報を使わなかったときの後悔を避けたいという力学です。「聞いておけばよかった」という後悔は具体的に想像できますが、「聞いたせいで判断がぶれた」という後悔は形になりにくい。非対称なので、集める方向に倒れます。
そして三つ目に、高次信念は集めるのが楽しいという側面があります。「他の人はどう答えると思いますか」という問いは、答える側も考えがいがありますし、集計結果も面白い。面白さと有用性は別なのですが、面白いデータは会議で言及されやすくなります。
この実験の結果は、その面白さに対して冷たい答えを返しています。高次信念は、正解と不正解を区別しなかった。
確かなことと、まだ確かではないこと
確かなこと:実験が128名・4セッション・被験者間デザインで行われたこと。NI条件の正答率が48.19%、平均確信度が74.16%だったこと。正解者の確信度75.52%が不正解者の71.94%より高かったこと。LI条件の改善が「わずか」とされ、MI条件で6.4パーセントポイントの上昇が報告され、FI条件がMIを超える追加利得をもたらさなかったこと。高次信念が正解・不正解を有意に区別しなかったこと。
まだ確かではないこと:参加者は特定の大学の学生で、平均年齢21歳、81.25%が女性という構成です。課題は True/False のトリビアであり、業務上の判断とは性質が異なります。実施は2019年12月で、公開は2026年です。そしてこの研究は事前登録されていません(論文自身が明記しています)。加えて、本記事の執筆環境からは論文本文を直接取得できておらず、別の検証工程の記録に依拠しています。これらを踏まえ、数値そのものではなく順序の構造を参考にするのが妥当だと考えています。
判断軸の提示
意見を集めるときに、「何を選んだか」と一緒に「どれくらい確信しているか」を必ず聞くこと。そして、そこで止めること。
この実験の結果を実務の形に直すと、こうなります。多数決の情報だけでは効きが薄い。確信度を足すと効く。それ以上足しても、少なくともこの実験では効かなかった。
会議やアンケートの設計に落とすと、次の順序になります。
- 各人の結論を、まず個別に取る — 議論の前に取らないと、最初の発言に引きずられた分布になる
- 同時に確信度を取る — 「どれくらいの自信か」を数値で。5段階でも構わない
- 分布と確信度を、セットで共有する — 「7人がA、3人がB」だけでなく「Aの平均確信度3.2、Bの平均確信度4.5」まで
- 他者の予想は、判断材料に入れない — 「みんなはどう言うと思う?」は、この実験では正誤を区別しなかった
- 確信度は過信込みだと理解しておく — 74%と言っている人の実力が48%だった、という結果を忘れない
4番目が、この記事のいちばん実務的な提案かもしれません。聞くのをやめる項目を決める、という提案です。
自分でも試せる、最小の検証
次の会議で判断が割れそうな論点を1つ選び、議論を始める前に、各自の結論と確信度(5段階)を紙かチャットに書いてもらってください。 そのうえで、結論の分布と、それぞれの結論を選んだ人の平均確信度を並べて共有します。
少数派のほうが確信度が高い、という形が出たら、それは多数決だけを見ていたら消えていた情報です。逆に、多数派も少数派も確信度が同じくらい低いなら、その論点はまだ判断の材料が足りていない——議論ではなく調査に戻る、という判断ができます。
なお、AIに複数の視点を出させて判断材料にしている場合、この実験とは別の注意が要ります。同じ条件で動く複数のAIは似た判断に寄りやすいためです(AIエージェントは並列化してもリスクが分散しない)。人間の集団に確信度を足すのと、AIの出力を並べるのとは、別の問題として扱う必要があります。
この記事で扱ったような、判断を集める設計を自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。
状況を整理する(15分)