ベンダーが出した数字と、独立機関が出した数字｜AIモデル選定で先に見るべきはどちらか

ベンダーが出した数字と、独立機関が出した数字｜AIモデル選定で先に見るべきはどちらか

AIモデルの乗り換えを検討していると、必ず数字が回ってきます。「新しいモデルのベンチマークが跳ね上がったらしい」「しかも単価は数分の一だ」。判断材料としては強い情報に見えます。

この記事では、DeepSeekの新モデルをめぐって同時期に存在した2種類の数字——ベンダー自身が公表した大幅な向上と、独立評価機関が公表した地味な検証結果——を並べることで、モデル選定という意思決定において何を判断の土台に置くべきかを整理します。

参照元はDeepSeek公式APIドキュメントの価格ページ、米NIST傘下CAISIによるDeepSeek V4 Proの評価（2026年5月1日公開）、およびTech Timesの報道（2026年8月13日）です。本記事の内容は2026年8月26日時点で確認できた記載にもとづきます。

30秒で要点

• DeepSeekは新モデル「DeepSeek-V4-Pro-0813」を、公式ブログもプレスリリースもなく、API価格ページのモデルバージョン欄の更新（2026年8月12日付）だけで提供開始した
• DeepSeek自身が公表した比較では DeepSWE 12.8→62.7（+49.9pt）などの大幅な向上が示されているが、これを再現した第三者評価は当該報道時点で存在しない
• 米NIST傘下のCAISIが2026年5月1日に公開したV4 Proの独立評価では、サイバー領域のCTF-Archive-Diamondで V4 Pro 32%、GPT-5.5 71%
• 同評価はV4 Proの能力が「フロンティアから約8か月遅れている」とし、CAISIの非公開ベンチマークではDeepSeekの自己申告評価を下回ると指摘している
• 価格ページには「近い将来、API価格の大幅な値上げを計画している」という注記がある

公式発表のないまま、型番だけが変わった

2026年8月12日、DeepSeekのAPI価格ページのモデルバージョン欄が「DeepSeek-V4-Pro-0813」に更新されました。公式ブログの記事も、変更履歴も、プレスリリースもありません。ページ上にそれらへのリンクも見当たりません。Tech Timesも同日付の一般提供開始として報じています。

これ自体を不正と呼ぶ必要はありません。しかし利用側の立場に立つと、ひとつ実務的な問題が生じます。「いつ、何が変わったか」を追跡する手段がないということです。APIを業務に組み込んでいる場合、モデルの挙動の変化に気づくきっかけが、自社の出力品質の異変や不具合報告からになりかねません。これは性能の高低とは別の、運用上の追跡可能性の話です。

同じモデルについて、2種類の数字が存在している

ここからが本題です。この時期、DeepSeek V4 Proをめぐって性格の異なる2種類の数字が存在していました。

一方は、ベンダー自身が公表した数字。 Tech Timesの報道によれば、DeepSeekが公表した4月のプレビュー版との比較表には、DeepSWE 12.8→62.7（+49.9pt）、CyberGym 52.7→83.3（+30.6pt）、DSBench-Hard 31.1→67.2（+36.1pt）といった大幅な向上が並んでいます。同記事は、これらの数字が「DeepSeek自身が公表したもので、第三者評価機関による再現はいずれも記事公開時点で行われていない」と明記しています。評価用のハーネスも非公開で、第三者トラッカーの結果欄は空のままだとされています。

もう一方は、独立評価機関が公表した数字。 米国NIST傘下のCAISI（Center for AI Standards and Innovation）は2026年5月1日、DeepSeek V4 Proの評価を公開しました。5領域9つのベンチマーク（サイバー、ソフトウェアエンジニアリング、自然科学、抽象推論、数学）で、GPT-5.5・GPT-5.4 mini・Opus 4.6 と比較したものです。

結果は地味です。サイバー領域のCTF-Archive-Diamondでは、V4 Proが32%に対しGPT-5.5が71%。CAISIはV4 Proの能力について「フロンティアから約8か月遅れている」と表現しています。コスト効率については、7つのベンチマークのうち5つでGPT-5.4 miniより効率的だったとされています。

そして、本記事の論旨にとって最も重要な一文がここにあります。CAISIは、V4 Proが同機関の評価したPRC製モデルの中では最も高性能としつつ、CAISIが外部非公開で保持するベンチマークでは、DeepSeek自身の自己申告評価に比べて成績が下回ると指摘しています。

なぜ派手な数字のほうが、判断に食い込みやすいのか

この2つの数字は、性質がまったく違います。しかし現場の議論では、しばしば同じ重みで扱われます。むしろ、派手なほうが優勢になりやすい。

理由は3つあると考えられます。

第一に、流通量が違います。 +49.9ptという数字は見出しになり、共有され、要約されて回ります。「フロンティアから8か月遅れ」は見出しになりにくい。目にする回数そのものに差がつきます。

第二に、数字の形が違います。 向上幅は「変化」を示し、物語になります。32%対71%は「状態」を示すだけで、物語になりません。人は変化のほうに注意を向けやすい。

第三に——これが最も厄介ですが——乗り換えを検討している人は、乗り換えを正当化する材料を探している状態にあります。 単価が数分の一だという情報を先に得ていれば、その判断を後押しする数字のほうが、判断を止める数字より歓迎されます。これは個人の弱さというより、意思決定が始まったあとに情報を集めるという順序そのものが持つ構造です。

ここで区別しておきたいのは、「ベンダーの数字が嘘である」という話ではないという点です。ベンダー公表値が誤りだと決めつける根拠はありません。問題は、再現されていない数字と、独立に再現された数字を、同じ確からしさのものとして扱ってしまうことにあります。

情報源の取り違えは、実際に起きる

本記事を準備する過程で、ひとつ実例に行き当たりました。

このモデルについて、「NISTの評価で、V4 Proが悪意あるジェイルブレイク要求の94%に応じた」という趣旨の記述が流通しています。しかし一次情報を確認すると、この94%という数字はCAISIが2025年9月に公開した別の評価——DeepSeek R1・R1-0528・V3.1を対象としたもの——の結果であり、2026年5月公開のV4 Pro評価の結果ではありません。V4 Proの評価ページにジェイルブレイク率の記載は確認できませんでした。

つまり、異なる時期の、異なるモデルに対する評価結果が、V4 Proの評価として語られていたことになります。数字自体は実在し、評価機関も実在します。だからこそ、「その数字が存在するか」を確認するだけでは検出できません。確認すべきは「その数字は、いつ、どのモデルについて出されたものか」です。

確かなことと、まだ確かではないこと

確かなこと：2026年8月12日に価格ページのモデルバージョン欄が更新され、公式発表を伴わずに提供が始まったこと。DeepSeek公表のベンチマーク比較が第三者に再現されていないとTech Timesが報じていること。CAISIの2026年5月1日公開の評価でCTF-Archive-Diamondが32%対71%だったこと。同評価が「フロンティアから約8か月遅れ」と述べ、非公開ベンチマークで自己申告を下回ると指摘していること。価格ページに値上げ予告の注記があること。

まだ確かではないこと：CAISIが評価した V4 Pro と、8月にGA化された 0813 版が、どの程度異なるのか。0813版に対する独立評価は本記事執筆時点で確認できていません。またTech Timesは二次情報であり、DeepSeek公表値の原典そのものを本記事では確認していません。値上げの時期と幅も公表されていません。

判断軸の提示

ここまでの整理から、モデル選定における判断軸を1つ提案します。

性能の数字を見る前に、「その数字はどの検証状態にあるか」を先に分類すること。

具体的には、目の前の数字が (a) ベンダーの自己申告で、採点環境が非公開のもの、(b) ベンダーの自己申告だが、採点環境が公開され再現可能なもの、(c) 独立した第三者が、自ら保持する非公開課題で測ったもの——のどれにあたるかを先に振り分けます。

この分類は、数字の大小より先に行う必要があります。順序が逆になると、すでに魅力を感じた数字を後から格下げすることになり、心理的な抵抗が生じるためです。

そして、(a) しか存在しない段階のモデルを本番の基幹業務に載せるかどうかは、性能の問題ではなくリスク許容度の問題として扱うほうが筋が通ります。検証されていないことは、悪いことを意味しません。まだ分からない、というだけです。

自分でも試せる、最小の検証

いま検討中の、あるいはすでに採用しているモデルについて、社内で共有されている性能の数字を1つ選んでください。そして、その数字の出所を1階層だけ遡ってみます。

確認するのは3点です。誰が測ったか。いつ測ったか。どのバージョンを測ったか。 この3つが即答できない数字が、稟議書や比較表に載っているとしたら、それは検証状態が不明なまま判断の土台になっているということです。

多くの場合、遡るのに必要な時間は数分です。そして本記事で触れたように、遡ってみると「別のモデルの数字だった」ということが実際に起こります。

この記事で扱ったような、AIモデルの選定基準を自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。