「最強のモデル」は「最良のアシスタント」ではない｜自動化ベンチマークでAIを選ぶと外す理由

「最強のモデル」は「最良のアシスタント」ではない｜自動化ベンチマークでAIを選ぶと外す理由

「このモデルはベンチマークで一番」という理由でAIモデルを選び、実際にアシスタントとして使わせてみたら思ったような支援が得られなかった——そんな違和感を持ったことはないでしょうか。この記事は、AIエージェントは「ベンチマーク9割、本番6割」の記事で扱った「ベンチマークと本番のギャップ」とは別の論点を扱います。そもそも「自動化する能力」と「人(や他のAIエージェント)を支援する能力」は、測定対象として別物なのではないか、という問いです。

2026年8月、NBER(全米経済研究所)のワーキングペーパー「CentaurBench: Benchmarking LLM Capabilities on Augmenting vs. Automating Real-World Work Tasks」(著者: Pattaraphon Kenny Wongchamcharoen, Kris Gulati, Min Min Fong, Abhishek Nagaraj)が、この問いに正面から取り組んだ結果を報告しています。

30秒で要点

• NBER Working Paper 35663「CentaurBench」は、経済的に基礎づけられた実世界の7タスクで、AIモデルが「自動化する能力」と「他のエージェント(低能力のワーカーモデル)を支援する能力」を別々に評価するベンチマークを提示した
• 自動化モードと支援モードのランキングは弱い相関しかなく、自動化の勝者は7タスク中5タスクで支援において敗れた。3タスクでは支援なしのワーカーが全ての支援条件を上回った
• 評価はLLM審査員パネルによるブラインドのペアワイズ比較(10回反復)に基づく査読前のワーキングペーパーであり、ワーカーはAIモデルであって人間ではない
• 別の事前登録研究(arXiv:2609.04198)はLLM審査員による評価の再現性に問題があると報告しているが、CentaurBenchの評価設計がこの問題をどこまで緩和するかは未検証

なぜ「自動化が強い=支援も強い」と思い込みやすいのか

多くのベンチマークは、AIモデルが「そのタスクを単独でどれだけ正確にこなせるか」を測っています。この数値が高いモデルを見ると、「これだけ優秀なら、人の作業を助ける役割でも当然うまくやれるはずだ」と考えたくなります。1つの能力が高ければ、関連する別の能力も高いはずだ、という一般化が働くためです。

CentaurBenchの著者らは、この一般化が成り立つかどうかを検証するために、同じ7つのタスクに対して2つのモード——モデル自身がタスクを最初から最後まで完了させる「自動化」モードと、モデルが低能力のワーカーモデルに対してガイダンス(支援テキスト)を与え、ワーカーモデルが成果物を作る「支援」モード——の両方でモデルを評価する実験を設計しました。論文はこの狙いをこう述べています。「Most LLM benchmarks rank models on their ability to automate work tasks. In practice, however, models are often used to assist other (human or LLM) agents.(多くのLLMベンチマークは、モデルがタスクを自動化する能力でランク付けする。しかし実際には、モデルは他の(人間またはLLMの)エージェントを支援するために使われることが多い)」

自動化の勝者が、支援では負けた

結果は、多くの担当者の直感に反するものでした。論文はこう報告しています。「Rankings across the two regimes are only modestly correlated, and the automation winner loses augmentation on five of seven tasks.(2つのモードにまたがるランキングは、弱い相関しか持たない。自動化の勝者は、7タスク中5タスクで支援において敗れる)」さらに「The unaided worker outranks every assisted condition on three tasks, and only one model's guidance beats no guidance on average.(支援なしのワーカーが、3タスクでは全ての支援条件を上回る。そして平均して、支援なしを上回るガイダンスを与えられたモデルは1つだけだった)」とも述べられています。

つまり、自動化モードで最も高いスコアを出したモデルを、そのままアシスタント用途に転用しても、期待した効果が得られない可能性が高いということです。「タスクを自分でこなす能力」と「他者の作業を導く能力」は、同じ土台の上にある能力ではなく、別々に測る必要がある能力だ、というのがこの論文の中心的な指摘です。

ここで注意が必要なのは、この実験のワーカーがAIモデル(低能力のワーカーモデル)であり、人間ではないという点です。「人間の生産性がAIの支援でどう変わるか」という話としてこの結果を使うことはできません。あくまで「AIモデルが別のAIモデルを支援する」という設定での結果です。

この結果を、どこまで自社の判断に使ってよいか

この論文は査読前のワーキングペーパーであり、評価もLLM審査員パネルによるブラインドのペアワイズ比較(10回反復)という特定の手法に基づいています。「7タスク中5タスク」という結果を、パーセンテージに換算して(たとえば「71%」のように)一人歩きさせるのは避けるべきです。n=7という小さな母数での割合表記は、実際以上に精緻な数字に見えてしまい、誤解を招きます。原文どおり「7タスク中5タスク」という分数のまま扱うのが適切です。

また、評価手法そのものについても留意点があります。別の研究、arXiv:2609.04198「Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints」(著者Haoyuan Zhu, Jie Zhang、2026年9月3日投稿)は、共有サービング基盤上でのLLM審査員による評価の再現性に問題があることを、事前登録研究として示しています。監査済み52,988リクエストにおいて、同一ウィンドウ内の反復でのランキング一致がSpearman係数0.400(要求水準0.90)、翌日の同一入力リプレイで0.78(要求水準0.99)にとどまったと報告されています。

この2つの論文の関係を整理すると、次のようになります。arXiv論文が示したのは「共有サービング基盤上の外形観測」に限定された再現性の問題であり、CentaurBenchが採用した評価設計(10回反復・ブラインドのペアワイズ比較)がこの問題をどこまで緩和できているかは、本記事が確認した範囲では未検証です。したがって「CentaurBenchの結果はLLM審査員の再現性問題によって無効化される」と結論づけることは、どちらの論文からも読み取れません。両者は別々の留意点として押さえておく必要があります。

モデル選定の現場で、何を確認すればよいか

もう一つ、関連する調査があります。NBER Working Paper 35677「What Work Does Generative AI Do?」(著者Alexander Bick, Adam Blandin, David J. Deming, Tyler R. Schumacher)は、全国代表サンプル調査に基づき、生成AIの採用が多くの職業・タスクにまたがって「広く見られる」一方、そのほとんどで採用者は半数未満にとどまる「広く、浅い」状態にあると報告しています。原文はこう述べています。「current adoption is widespread but shallow: genAI is used across many occupations and tasks, yet within most of them, fewer than half of workers adopt.」

この調査結果は米国の労働市場データに基づくものであり、日本の労働市場への一般化は検証されていません。ただし、モデル選定の文脈で示唆的なのは、「広く浅い採用」の背景に、CentaurBenchが指摘したような「自動化向けに選ばれたモデルが、実際の支援用途では思ったほど機能していない」というミスマッチが一因として存在する可能性がある、という点です。

自社でAIモデルを選定するときに確認すべきなのは、「このモデルは何のベンチマークで何位だったか」ではなく、「そのベンチマークは自動化モードで測られたものか、支援モードで測られたものか」という前提です。アシスタント用途で導入するのであれば、自動化ランキングの順位を根拠にするのではなく、支援モードでの評価が別途存在するかを確認する必要があります。

確かなことと、まだ確かではないこと

確かなこと: NBER Working Paper 35663「CentaurBench」が、7タスクにおいて自動化モードと支援モードを別々に評価し、自動化の勝者が7タスク中5タスクで支援において敗れたと報告していること。評価がLLM審査員パネルによるブラインドのペアワイズ比較(10回反復)に基づく査読前のワーキングペーパーであること。arXiv:2609.04198が共有サービング基盤上でのLLM審査員評価の再現性問題を事前登録研究として報告していること。NBER Working Paper 35677が生成AIの採用を「広く、浅い」状態と報告していること。

まだ確かではないこと: arXiv論文が指摘する再現性問題が、CentaurBenchの評価設計をどの程度緩和・回避できているかは未検証です。CentaurBenchの結果が日本企業のAIモデル選定にそのまま当てはまるかどうかも、本記事が確認した論文の範囲では検証されていません。

自分でも試せる、最小の検証

自社で導入・検討しているAIモデルについて、「このモデルを使わせる目的は、タスクを自動的に完了させることか、それとも人(または他のAI)の作業を支援することか」を、まず1つに絞ってください。その上で、比較検討しているベンチマーク・評価資料が、その目的(自動化か支援か)に対応した評価かどうかを確認する。この1点を確認するだけでも、目的とは異なるモードの順位に基づいてモデルを選んでしまうリスクを減らせます。

判断軸の提示

「ベンチマークで一番」という評価を見たとき、それが自動化モードでの順位か、支援モードでの順位かを分けて確認すること。CentaurBenchが示したのは、この2つのモードのランキングが弱くしか相関しないという事実です。自社がモデルに求めている役割(自動化か支援か)を先に定義し、その役割に対応した評価だけを判断材料にする姿勢が、モデル選定での見誤りを防ぎます。

この記事で扱ったような判断を、自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。