「対話型のAIを導入した」という報告を受け取ったとき、そこに書かれているのは何でしょうか。
導入した、配った、使えるようにした。これらはすべて提供の記述です。実際に使われたかどうか、どこまで使われたかは、別の列に書かれるべき情報です。しかし報告の形式は、たいていこの2つを同じ列に収めます。
最初は、利用率を見れば足りると考えていました。開いた人の割合を数えれば、提供と行使の差は埋まるはずだ、と。
しかし参照した実験を読むと、その見立ては粗いものでした。追加質問ができる条件に割り当てられた49人のうち、実際に一度でも聞き返したのは2人でした。ツールは開かれています。開いたうえで、使える機能が使われていません。
本記事が立てる仮説はこれです——提供された機能と行使された機能のあいだには、利用率では埋まらない段差があるのではないか。そしてその段差は、設計の問い（対話を前提に設計された道具は、対話されない前提でも機能するのか）と評価の問い（対話型を導入したという報告は何を報告しているのか）の2つに分かれるのではないか。
この見立てが当たっているなら、起きる失敗は静かです。対話できる仕組みを整え、利用率が上がったことを確認し、効果が出ないことを「使い方の問題」として処理する。使える機能が使われていないという可能性は、利用率の数字には出ません。
本記事は提供と行使の分離と、帰無結果の報告の仕方の2点に絞ります。AIへの依存や信頼の総論はどれだけ頼ったかを、人は正確には覚えていないとAIの説明は「正しさ」より「もっともらしさ」で信頼されるで扱っているため、ここでは繰り返しません。統計手法そのものの入門は有意差は「展開してよい」の判断基準ではないに預けます。
30秒で要点
- 追加質問ができる条件（49人）で、一度でも追加質問をしたのは49人中2人だった。著者は、AI助言者が利用に及ぼす影響は最初の相談を通じて働くのであり、継続的な関与を通じてではないと述べている
- 主要な結果は帰無だった。一度きりのAI条件と対照条件の差の点推定は 0.032（95%信頼区間 −0.239〜0.302）、対話条件と一度きり条件の対比は −0.077（F=0.28、p=0.60）
- 著者は帰無を主張するためのコストを払っている。設計の感度（安全な選択肢の表示位置の無作為化が推定値を −0.308 動かし、p<0.01）を示し、そのうえで棄却できる範囲を区間で示した
- 事前登録した最小関心効果 Δr=0.275 より大きい効果を、2つの一方向検定が棄却した（対照条件との比較で、一度きり条件 p=0.040、対話条件 p=0.031、90%信頼区間）。ベイズ因子はこの順に 4.8 と 4.5
- ただし著者は同じ段落で、より小さい効果はなお可能であると明記している。帰無は「利用可能性」の効果についてのみ語ると述べている
- 相談の利用率（50.0%、60.4%、67.3%）は条件間で有意差がなく、著者が探索的・事前登録外と断っている。結論として使える数字ではない
- 実測の個人差は事前の想定より大きかった（標準偏差 0.68 対 0.40）。著者はこれを限界として挙げている
聞き返せる条件で、聞き返した人は49人中2人だった
参照するのは、ハイデルベルク大学の研究者による論文です（arXiv:2609.07358、本文はHTML版で2026年10月21日に確認。v1 の投稿日は2026年9月7日、分野は econ.GN。査読前のプレプリントです）。
設計はこうです。参加者158人を3つの条件に無作為に割り当てます。対照条件56人、一度きりのAI条件53人、対話型AI条件49人。報酬のかかったくじ選択を6回行い、安全な選択肢の表示位置は参加者ごとに無作為化されています。報酬は固定の2.50ユーロに加えて、無作為に選ばれた1ラウンドの成果が支払われます。実施は2026年6月、ハイデルベルク大学の実験室の被験者プールから募集し、参加者自身の端末からオンラインで行われました。利得表は Holt and Laury (2002) から改変されたものです。
対話型の条件では、1ラウンドにつき最大2回まで追加質問ができました。
そして結果の一文がこうです。それでもなお、対話の経路そのものはほとんど使われず、一度でも追加質問をしたのは49人中2人にとどまった。したがって、AI助言者が利用に及ぼす影響は、継続的な関与ではなく最初の相談を通じて働く、と。
ここは数字の扱いに注意が必要です。論文の表記は「49人中2人」です。割合に換算すれば約4.1%になりますが、論文はその数字を書いていません。 換算値を論文の記述として引用すると、原文にない数字を原文のものとして示すことになります。
主要な結果は「差がなかった」だった
この実験の主要なアウトカムは、引き出されたリスク回避の度合いです。
一度きりのAI条件へのアクセスは、リスク回避をほぼ変えませんでした。点推定は 0.032、95%信頼区間は −0.239 から 0.302 です。対話条件と一度きり条件の対比は −0.077 で、F=0.28、p=0.60。
ゼロと異なっていた係数は2つだけでした。1つは切片で、値は 0.356。これは中程度のリスク回避と整合する水準だと述べられています。もう1つは、安全な選択肢の表示位置の無作為化です。
要旨の表現は、ライブのAI助言者へのアクセスがリスク回避を変えるという証拠は見つからなかった、というものです。
ここで止めると、よくある「有意差なし」の報告になります。この論文が違うのは、ここから先です。
「差がなかった」が情報になるために、著者が払ったコスト
帰無が情報を持つのは、設計が経済的に意味のある効果を検出できた場合に限られます。 検出力のない設計で差が出なければ、それは「分からなかった」であって「差がなかった」ではありません。
著者はこの区別に対して、2つの根拠を置いています。
第一に、設計の感度です。 同じ回帰の中で、安全な選択肢の表示位置の無作為化は推定値を −0.308 動かし、p<0.01 でした。これは検出しようとしていた効果より大きい動きです。つまりこの設計は、意味のある大きさの効果であれば拾える状態にありました。拾える設計で拾えなかった、という形になります。
第二に、効果の直接の上限付けです。 著者は事前登録の段階で、最小関心効果を Δr=0.275 と定めています。これは「これより小さい差なら、関心の対象にしない」という線を、データを見る前に引いておく手続きです。
そのうえで、2つの一方向検定（同等性を検定する手続きで、効果が上限より大きくないことと下限より小さくないことを別々に検定します）が、この境界を超える効果を両方のAI条件について棄却しました。対照条件との比較で、一度きり条件が p=0.040、対話条件が p=0.031、いずれも90%信頼区間に基づく値です。ベイズ因子（ある仮説が対立仮説に比べてどれだけデータに支持されるかを表す比）は、この順に 4.8 と 4.5 でした。事前分布は Cauchy 分布、スケール 0.71 と記されています。
ここまで読むと、帰無が強い主張のように見えてきます。しかし著者は、同じ段落で歯止めをかけています。より小さい効果はなお可能である、と。
この一文があるかないかで、結論の範囲が変わります。棄却されたのは Δr=0.275 より大きい効果だけです。それ以下の効果については、この研究は何も棄却していません。
想定が外れていたことも、著者が書いている
もう1つ、著者が自ら記録している数字があります。推定されたリスク回避パラメータの被験者間の標準偏差は、実測で 0.68 でした。事前登録の時点で想定していたのは 0.40 です。
個人差が想定より大きいと、同じ標本数で検出できる効果の範囲は狭くなります。著者はこれを限界の3つめとして挙げ、標準偏差が想定より大きかったため、この研究が棄却できるのは Δr=0.275 より大きい効果に限られると述べています。より小さい効果はなお可能であり、現在のデータの点推定はゼロに非常に近いとも書かれています。
事前の想定が外れたことを書いたうえで、棄却できる範囲をその分だけ狭めている。 帰無結果を報告するコストは、ここに現れています。
何を測った数字なのかを、先に決めておく
リスク回避の度合いは、どう数値化されたのでしょうか。
論文は DOSE と呼ばれる手続き（選択肢を動的に調整しながら少数の質問で選好を推定する方法）を使い、参加者ごとにパラメータを推定しています。推定されるのは、相対的リスク回避度が一定という形の効用関数の係数です。
分母と分子で言い直すと、この指標の分母は参加者1人、分子はその人の6回の選択から推定された係数の値です。単位はそのパラメータの値であり、金額でも件数でもありません。切片の 0.356 は、この単位での水準を指しています。
これを押さえておくと、読み違えを1つ防げます。この研究が測っていないものが見えるからです。確信度、判断の一貫性、業務上の成果。いずれも報告されていません。報告されていない指標について、この研究から言えることはありません。
AIの計算間違いは、取り除くべき欠陥として扱われていない
実験中、AIは計算を間違えています。
安全な選択肢の期待値は、全ての相談で正しく計算されました。リスクのある選択肢については、228回中216回（94.7%）が正しく、12回で誤りました。誤りが生じたのは相談の約5.2%です。
著者の扱いは、この誤りを技術の一部、したがって処置の一部とするものです。取り除くべき不具合として扱っていません。実際に使われる道具には誤りが含まれており、それを含んだものがアクセスの対象だった、という位置づけです。
そのうえで、誤りは稀で、行動を動かした兆候は見られないと述べています。ただし続けて、できないことも明記しています。誤りの影響を推定することはできない。頻度が低すぎるからです。
この記述の仕方は、信頼性の評価とは別のものです。「AIが間違えるから信頼できない」という論点ではなく、「間違いを含む道具へのアクセスを測った」という設計の記述です。
結論にしてはいけない数字
この論文には、引用したくなる並びが1つあります。助言ツールを一度以上開いた参加者の割合です。対照条件 50.0%、一度きり条件 60.4%、対話型条件 67.3%。
助言が豊かになるほど相談される、と読めます。しかしこれは結論として使えません。
条件間の差は統計的に有意ではありません。3条件を横断した比較で χ²(2)=3.32、p=0.190。対照条件とAI条件をまとめた比較では χ²(1)=2.27、p=0.132 です。そして著者は、この上昇傾向が探索的であり事前登録されていないと明記しています。
事前に登録されていない比較は、データを見てから選んだ可能性を排除できません。だから著者は、傾向の記述にとどめて結論に組み込んでいません。
ここは読む側の規律の問題でもあります。事前登録された比較と探索的な比較は、同じ表に並んでいても意味が違います。 並んでいる数字のうち、どれが事前に決めた問いへの答えなのかを確認しないと、論文が結論にしなかったものを結論として引き取ることになります。再現性の判定が基準の選び方で変わる話は「再現した」は判定方法を決めた時点で半分決まっているで扱っています。
なぜ「提供した」が「使われた」に見えるのか
提供と行使が同じ列に収まってしまう理由は、3つに分けられます。
第一に、提供は記録に残り、行使の内訳は残らないからです。 配った人数、開いた人数、アカウントの発行数。これらは自動的に残ります。一方「使える機能のうち、どれが使われたか」は、測る設計を先に入れないと残りません。残っていないものは、報告にも書けません。
第二に、利用率が行使の代理指標として機能してしまうからです。 開いた人が増えれば、使われているように見えます。この実験では、対話型の条件でも67.3%が助言ツールを開いていました。開いた人の割合だけを見れば、関与は高いように見えます。しかし開いたうえで追加質問をしたのは2人です。代理指標は、代理している対象から離れることがあります。
第三に、機能を足した側には、その機能が意識されているからです。 対話できるようにした人は、対話の価値を理解しています。理解している側から見ると、使われない理由が分かりにくい。だから説明は「使い方が分からないのだろう」に向かい、案内や研修が足されます。使う必要を感じていない可能性は、検討の候補に入りにくくなります。
3つが重なると、「提供した」という記述が「使われている」という理解に変わり、効果が出ないときの原因が利用者の側に置かれます。
判断軸：提供と行使を同じ列に書かない
ここからは本記事の判断です。論文は業務での導入について何も述べていません。
研究が分けていたものを、報告の形式に対応させると次のようになります。
表が収まらない場合は、横にスクロールできます
| 書かれていること | 実際に記述している対象 | 確認すべき別の列 |
|---|---|---|
| 導入した・配った | 提供 | 開いた人の割合 |
| 利用率が上がった | 接触 | どの機能が使われたか |
| 対話型を導入した | 対話の可能性の提供 | 対話が成立した回数 |
| 効果が出ていない | 結果 | 提供・接触・行使のどこで止まっているか |
4行目が要です。効果が出ていないという観察は、それだけでは原因の位置を示しません。提供で止まっているのか、接触したが行使されていないのか、行使されたが結果に出ないのか。3つは別の打ち手に対応します。 行使されていないのに研修を足すと、行使の条件が変わらないまま回数だけが増えます。
もう1つ、この研究から引ける区別があります。著者が述べているのは、助言者へのアクセスを研究したのであって使用の義務付けではない、ということです。押し付けられた推奨が行動を動かしうることは示されていると書かれており、したがってこの帰無は「利用可能性」の効果についてのみ語ります。
つまり「使えるようにした」と「使うことにした」は、研究上も別の処置です。報告の中で混ざっていたら、どちらの話なのかを確認する余地があります。
手元で試せる最小の確認
必要なのは、記録を1つ足すことです。
分母と分子を先に決めます。
- 分母：対象機能に接触した回数（画面を開いた、ツールを起動した回数）
- 分子：そのうち、提供されている往復のうち2回目以降が発生した回数（聞き返し、修正依頼、条件の変更）
- 単位：往復成立率（％）
手順は3つです。
- 提供している機能を、往復の回数で書き出す。 1回で終わる使い方と、2回目以降がある使い方を分けて書きます。分けて書けない機能は、提供の記述が曖昧なままということです
- 往復成立率を出す。 分子がゼロに近いなら、提供されている機能のうち往復の部分は使われていません。この実験での対話経路の使われ方（49人中2人）は、その状態の一例です
- 率が低いときに、理由を2つに分けて立てる。 「やり方が分からない」と「必要を感じていない」です。前者なら案内が効き、後者なら効きません
最初に見るべきは率の水準ではなく、手順1が書けるかどうかです。往復の回数で機能を書き出せない状態では、提供と行使を分けて数えること自体ができません。
確かなことと、まだ確かでないこと
確かなこと（2026年10月21日に本文を取得して確認した範囲）：対話型条件の49人のうち一度でも追加質問をしたのが2人であること。追加質問が1ラウンドにつき最大2回まで可能だったこと。参加者158人の3条件への無作為割り当て（56人・53人・49人）と、6回の報酬のあるくじ選択、2026年6月のオンライン実施。一度きり条件と対照条件の差の点推定 0.032 と95%信頼区間 −0.239〜0.302。対話条件と一度きり条件の対比 −0.077（F=0.28、p=0.60）。ゼロと異なる係数が切片 0.356 と安全な選択肢の表示位置の無作為化だけだったこと。表示位置の無作為化が推定値を −0.308 動かし p<0.01 だったこと。事前登録の最小関心効果 Δr=0.275 と、それを超える効果を棄却した2つの一方向検定の値（対照条件との比較で一度きり p=0.040、対話 p=0.031、90%信頼区間）、ベイズ因子 4.8 と 4.5。より小さい効果はなお可能だと著者が明記していること。実測の標準偏差 0.68 と事前想定 0.40。AIの計算が安全な選択肢では全て正しく、リスクのある選択肢で228回中216回正しかったこと。相談率 50.0%・60.4%・67.3% と、その差が有意でなく探索的・事前登録外であること。
まだ確かでないこと：業務の場面で同じ段差が生じるか（本記事の仮説であり、論文の主張ではありません）。聞き返しが少なかった理由（論文は理由を同定していません）。Δr=0.275 より小さい効果の有無（著者が可能性を残しています）。AIの計算誤りが行動に与えた影響（頻度が低すぎて推定できないと著者が述べています）。
本記事が踏み込んでいないこと：確信度や判断の一貫性への効果（論文が報告していません）。論文が実験に使用したモデルの性能評価（論文の表記は gpt-5.4-mini で、実験は2026年6月に行われました。このモデルの位置づけは今回検証していません）。同等性検定やベイズ因子の手法そのものの解説（既存記事の担当範囲です）。
報告を受け取るときに立ち返る問い
立ち返りたいのは、「この報告は、提供を記述しているのか、行使を記述しているのか」という問いです。導入した、配った、使えるようにした。いずれも提供の記述です。提供の記述から行使を推測するとき、推測していること自体が報告から落ちます。
もう1つは、「使われなかった機能は、どこに記録されているか」という問いです。使われた回数は残ります。使えたのに使われなかった回数は、測る設計を入れないかぎり残りません。この実験が「49人中2人」を書けたのは、追加質問の回数を記録していたからです。
対話できる道具を渡すことは、対話を渡すことと同じではありません。渡したのは可能性のほうで、それが行使されるかどうかは別の問いとして残ります。残った問いを数えないでいると、提供の記録だけが成果の記録として積み上がります。
参考資料・引用元
- Paul Althaus, Leon Houf, Christiane Schwieren, arXiv:2609.07358（v1 投稿日 2026年9月7日、econ.GN、査読前のプレプリント）. https://arxiv.org/abs/2609.07358 ・本文HTML https://arxiv.org/html/2609.07358v1 （いずれも2026年10月21日取得・HTTP 200）