2026年10月22日に、プレプリント「Think Once, Reflect Twice: How Feedback Shapes Human-AI Collaboration」の本文を読み、報告されている数値を1件ずつ照合しました。arXiv に2026年10月14日付で投稿されたもので（arXiv:2610.19991、DOI 10.48550/arXiv.2610.19991）、著者はカールスルーエ工科大学の5名です。本文に "A Preprint" と記載された査読前の論文であり、この記事もその扱いで読みます。
社内でAIの推奨を使う運用を設計していると、ある発想にたどり着きます。AIの推奨を人が上書きしたとき、その上書きが当たったのか外れたのかを本人に返せば、頼りすぎも頼らなすぎも自然に調整されるのではないか。学習の仕組みとしては筋が通って見えます。
この実験が示したのは、別のことでした。フィードバックは「適切に頼る」状態を作ったのではなく、頼る向きを入れ替えたのです。
30秒で要点
- 依存の調整平均は、失敗事例だけを見せた群 0.776、成功事例だけを見せた群 0.656。一方向の2条件は互いに中程度（d=0.59）離れたが、最終ラウンドの成績に有意差はなかった
- 動いたのは行動の向きで、判断の質ではない。チーム成績への条件の効果は限界的にとどまった
- 「振り返り」は2つの別物を指していた。事後の学習は上がり、判断中の熟慮は一方向の条件で下がった（ただし後者は事後の自己報告）
- 最も多い誤りは「上書きの失敗」ではなく「誤った推奨に従うこと」で、参加者の94.7%が少なくとも1回それをした
- 自社で見るなら「従った割合」ではなく4分類で数える。合計値は向きしか示さない
何を測った実験なのか
参加者244名の行動実験です。Prolific で募集され、注意チェックや理解チェックに通らなかった人、および一度もAIから逸脱せず常に従った6名を除外したあとの最終標本が244名で、4条件に均等配分されています。所要時間の中央値は16.41分、平均年齢44.09歳、男女はほぼ半々。報酬は基本2.25ドルに正答1件あたり5セントで、平均支払額は2.76ドルでした。
課題は融資承諾の判断です。Kaggle の Home Credit Default Risk データセットを用い、6問×3ラウンドの計18問。各問で参加者は、AIの推奨と、その根拠となる上位3特徴の説明を見てから自分で決めます。提示される特徴は8項目（性別・配偶状況・学歴・扶養者数・世帯収入・借入額・借入期間・信用履歴）です。
AIは Random Forest 分類器で、テストデータでの正答率は66.57%でした。著者はこの中程度の精度を意図的に選んだと述べています。理由は、AIの誤りを十分な頻度で発生させ、人とAIの不一致を起こすためです。出題に使った48事例でのAI推奨の正答率は62.5%でした。
ここは読み替えに注意が必要な箇所です。66.57%という数字は、実務で使うモデルの精度を代表しません。不一致を起こすために選ばれた値です。
処置は、フィードバックの向きです。4条件は、フィードバックなし、成功した上書きだけを見せる、失敗した上書きだけを見せる、両方を見せる、の4つ。フィードバックはラウンド1と2の後に提示されます。重要な設計上の制約として、フィードバックの対象は「上書きした場面」に限られ、「AIに従った場面の結果」は含まれません。
動いたのは依存の向きで、成績ではなかった
最終ラウンドでAIの推奨に従った割合には、条件の有意な主効果がありました（F(3,234)=4.09, p=0.007）。調整平均は、失敗事例のみ 0.776、両方 0.764、フィードバックなし 0.724、成功事例のみ 0.656。順序としては、失敗を見せられた群がより従うようになり、成功を見せられた群がより従わなくなっています。
ただし、ここで止まるべき線があります。フィードバックなし群との比較では、成功条件が限界的（p値＝観測された差が偶然では説明しにくいかの目安。ここでは0.064）、失敗条件は有意に達していません（0.118）。確定的に言えるのは、一方向の2条件が互いに中程度の効果量（d=0.59）だけ離れたことと、調整平均の順序までです。「対照より上がった／下がった」とは書けません。
そして最終ラウンドのチーム成績は、条件の限界的な主効果しか示しませんでした（F(3,234)=2.15, p=0.095）。調整平均は両方 0.692、フィードバックなし 0.613、成功のみ 0.612、失敗のみ 0.588。効果量は両方条件が d=0.37 で最大ですが、一方向の2条件は d=0.00 と d=0.11 で無視できる大きさです。著者は、成績に関する仮説は支持されないと結論しています。
つまり、行動は2つの方向へ分かれ、結果は動きませんでした。片方の群はより頼るようになり、もう片方はより自分で決めるようになり、どちらも正答率は変わらなかった。
なぜ「頼り方が適切になる」と考えてしまうのか
この結果が意外に感じられる理由は、フィードバックを学習の装置として想像するところにあります。結果を知れば精度が上がる、という期待です。
しかし片側だけのフィードバックは、精度の情報よりも方向の情報を強く運びます。上書きの成功例だけを並べれば「自分の判断は当たる」という記録になり、失敗例だけを並べれば「上書きは危ない」という記録になります。どちらも、次に迷ったときにどちらへ寄るかを教えますが、どちらが正しいかは教えません。
もうひとつ、「振り返りが増えた」と「判断が良くなった」を同じものとして読む癖があります。この実験は、その2つが分かれることを示しています。
「振り返り」という言葉が指していた2つのもの
この論文が切り分けているのは、2種類の振り返りです。
事後の振り返り（reflection-on-action、「誤りからの学習」として測定）には、条件の主効果がありました（F(3,237)=2.85, p=0.038）。調整平均はフィードバックなし 4.21、成功のみ 4.52、両方 4.68、失敗のみ 4.68。調整済みの対比では、両方条件が対照より有意に高く（差 0.471, p=0.018, d=0.46）、失敗条件も同様（差 0.468, p=0.018, d=0.46）でした。成功条件は有意に達していません（差 0.311, p=0.136, d=0.30）。著者はこの仮説を部分的に支持と結論しています。
判断中の熟慮（reflection-in-action、熟慮的な処理の自己報告尺度）にも主効果がありました（F(3,237)=3.39, p=0.019）。調整平均はフィードバックなし 5.36、両方 5.32、成功のみ 5.10、失敗のみ 5.06。対比では失敗条件が対照より有意に低く（差 −0.297, p=0.034, d=0.46）、成功条件は限界的（差 −0.262, p=0.077, d=0.41）、両方条件は変化なし（差 −0.038, p=0.984, d=0.06）でした。著者はこれを一方向のフィードバック設計における緊張関係と呼び、両方を見せる条件にはこの代償が現れないと述べています。
同じ「振り返り」という日本語に、違う時点の違う対象が入っていました。片方は判断しているあいだの処理、もう片方は終わったあとの学習です。一方向のフィードバックは、後者を増やしながら前者を減らす方向に働いたという読みになります。
ただし、測り方の限界を著者自身が書いている
ここが、この記事でいちばん注意して扱う部分です。
著者は、判断中の熟慮が課題終了後に測られていることを限界として挙げています。参加者は課題を終えたあとに自分の処理について回答しており、その測定は「処理そのものではなく、どう処理したと記憶しているか」を記録している、と原文に書かれています。さらに2つの振り返り尺度は同じ時点で収集されたため、構成概念の時間的な区別が測定に反映されていません。
したがって、「判断中の思考が実際に浅くなった」とは書けません。そう報告された、までです。
もう1点。事後の振り返りの尺度は、誤りを明示的に参照する項目（自分の誤りを認識する、誤りから学ぶ、など）で構成されています。著者は、この文言が失敗した上書きを見せた条件に適合しており、成功条件を過小評価している可能性があると自ら述べています。だから「成功事例を見せても振り返りは増えない」という読みは、この限界を併記せずには出せません。
3点目。フィードバックの量は、参加者自身の上書き率に依存します。上書きしなければフィードバックは返ってきません。上書きは全判断の27.5%、1人あたり平均3.3件にとどまりました。著者はこれを内生性の問題として明記し、共変量として投入しても完全には解消しないと書いています。
著者は、参加者の自己申告と測定された効果が一致しない例も挙げています。失敗した上書きのフィードバックを受けた群は「影響は軽微だった」と最も多く報告しましたが、その条件こそが判断中の熟慮と誤った推奨への追従に最も明確な効果を示していました。自己申告で運用の良否を判定することの難しさが、ここに出ています。
最も多い誤りは「上書き」ではなかった
この論文のもうひとつの収穫は、依存を単一の割合ではなく4つに分けて数えていることです。内訳はこうなっています。
表が収まらない場合は、横にスクロールできます
| 分類 | 割合 |
|---|---|
| 正しい推奨に従った | 50.5% |
| 誤った推奨に従った | 22.0% |
| 上書きして正解した | 14.6% |
| 上書きして外した | 12.9% |
最も多い誤りは「誤った推奨に従うこと」でした。参加者の94.7%が少なくとも1回それをしています。人とAIのチームとしての誤り全体（失敗した上書きと、誤った推奨への追従の合計）は、判断の34.9%を占めました。
この内訳が示すのは、「AIに従った割合」という単一の指標が何を潰しているかです。従った割合が高いという観測は、正しい推奨に従った50.5%と、誤った推奨に従った22.0%を足した数字です。向きは分かりますが、質は分かりません。前者が増えて従う割合が上がったのか、後者が増えて上がったのかを、合計値は区別しません。
この4分類の割合は、この実験の内訳です。自社の数値として持ち出せるものではありません。持ち出せるのは、数え方のほうです。
AIが間違っている場面でこそ落ちた
AIの推奨が正しい場面と誤っている場面に分けた分析では、条件依存の効果が出ています。
AIの推奨が誤っていた場面では、失敗事例だけを見せた条件の成績が有意に低くなりました（係数 −0.83, 標準誤差 0.39, z=−2.15, p=0.03）。AIの推奨が正しい場面での成功条件は、有意に達していません（係数 −0.62, 標準誤差 0.37, z=−1.67, p=0.095）。
読み方としては、上書きの失敗だけを見せる運用が、AIが間違っている場面でこそ成績を落としていることになります。上書きを抑制する方向の学習は、抑制すべきでない場面にも効いた、という形です。ただし単一の実験であり、因果をそのまま一般化することはできません。
自社で何を数えるか
ここから運用の話にします。この実験は融資承諾という単一課題の単発オンライン実験であり、社内のAI運用に結果をそのまま移すことはできません。移せるのは、問いの立て方です。
- 分母: レビュー対象期間に、AIの推奨が提示された判断の件数（単位：件）
- 分子: 上の4分類それぞれの件数。合計ではなく、4つの数として記録する
この分数が計算できるかどうかが、最初の関門です。多くの運用記録は「最終的にどう決めたか」しか残しておらず、「AIが何を推奨していたか」と「その推奨が正しかったか」が揃いません。揃わないなら、依存率はそもそも計算できていません。
最小検証: 直近10件の判断について、AIの推奨・人の最終判断・結果の正否の3列を埋めてください。4分類に振り分けて、どのマスが多いかを見ます。「誤った推奨に従った」が最も多いなら、対策はレビューを増やすことではなく、AIが間違いやすい条件を特定することです。「上書きして外した」が最も多いなら、逆です。
そして、レビュー運用でフィードバックを返すなら、上書きした場面だけに返していないかを確認します。この実験でフィードバックが届いた範囲は上書きの27.5%だけでした。従った判断の結果を返さない運用は、構造として一方向です。
確かなことと、まだ確かでないこと
確かなこと（プレプリント本文で確認、2026年10月22日時点）
- 依存には条件の有意な主効果があり、一方向の2条件は互いに中程度（d=0.59）離れた
- 最終成績に関する仮説は支持されなかった
- 事後の振り返りは、両方条件と失敗条件で対照より有意に高かった
- 誤った推奨への追従が最も多い誤りであり、94.7%の参加者が少なくとも1回経験した
まだ確かでないこと
- 一方向のフィードバックが対照と比べて依存を動かしたか。両条件とも対照との差は確定していません
- 判断中の処理が実際に変わったか。測定は事後の自己報告です
- 両方を見せる設計が成績を上げるか。仮説は支持されていません。言えるのは、成績を落とさずに事後の振り返りを増やした唯一の条件だったことまでです
- 融資承諾以外の業務で同じことが起きるか。単一課題・単発の実験です
この区別を保ったまま使うなら、この研究から取れるのは結論ではなく測り方です。
向きが変わったことに気づける記録を持っているか
結果を見ない判断がずれていくことは、フィードバックのない判断は静かにずれるで扱いました。この研究が足したのは、その逆側です。結果を見せる場合でも、見せ方を間違えると別のものがずれる。
報酬の設計を変えたときに何が動くかはAIへの過度な依存を報酬設計で動かした実験で扱っています。処置が違っても、「行動は動いたが成績は動かなかった」という形が繰り返し現れるのは、観察として覚えておく価値があります。
自社の運用で、依存の向きが変わったことに気づけるでしょうか。合計値だけを見ている記録では、向きの入れ替えは静かに進みます。