推論系のベンチマークで上位を取るAIモデルがあります。
しかし、そのモデルが実際に使えるPowerPointを作れるとは限りません。
この意外なギャップを検証したベンチマークが、Redditで話題になっていました。
ドキュメント生成だけを測るベンチマーク
世の中には、AIの能力を測るベンチマークが山ほどあります。
数学、コーディング、検索など、対象はさまざまです。
ところが、「使えるWordやPowerPointを作れるか」を測るベンチマークは見当たりません。
投稿者はこの点に疑問を持ちました。
そして、自分で作ってしまったそうです。
このベンチマークは「DocBench Arena」と名付けられています。
26のモデルに対して、同一のドキュメント生成タスクを与える仕組みです。
条件は徹底して揃えられています。
具体的には、以下がすべて共通です。
- ソース資料
- 最小構成のエージェント
- 実行環境
- ドキュメント作成用のスキル
さらに、モデルは実際の.pptxファイルや.docxファイルを生成して提出しなければなりません。
出力されたテキストを眺めて採点するわけではありません。
成果物そのものを評価する。
ここがこのベンチマークの肝です。
衝撃の結果：Claude Fable 5がトップ10圏外
結果は、一部のフロンティアモデルにとってかなり厳しいものでした。
Claude Fable 5は、Anthropicの最上位モデルです。
しかし、現時点でトップ10に入っていません。
しかも、その上位には安価なオープンウェイトモデルが複数並んでいます。
中には、1ドキュメントあたりのコストがおよそ30分の1のモデルもあるとのこと。
投稿者はこう指摘しています。
価格は成果物の品質を測る指標として、まったく当てにならないと。
高いモデルを使えば良い資料ができる。
そんな思い込みを、データが否定した形です。
ランキングの仕組み：匿名のペア比較投票
順位の決め方も工夫されています。
まず、投票者には2つの匿名ドキュメントが提示されます。
どちらも、同じプロンプトから生成されたものです。
投票者は「どちらを使いたいか」を選ぶだけ。
モデル名は投票後に初めて明かされます。
そして、リーダーボードは投票のたびにリアルタイムで更新されていきます。
当初は12人の投票者で運用していたそうです。
その後、誰でも参加できる形で公開されました。
投稿者の報告によると、Reddit公開後には167人まで増えたとのことです。
コメント欄が面白い：ベンチマークの落とし穴
この投稿は、コメント欄の議論も示唆に富んでいました。
1タスクだけ得意なモデルが1位になる問題
ある時点で、小型のQwenモデルが総合リーダーボードの首位に立っていました。
これを不思議に思ったユーザーが、コメントで指摘します。
その指摘を受けて投稿者が調べたところ、驚きの事実が判明しました。
そのモデルは、8タスク中7タスクに失敗していたのです。
そして、履歴書のdocx作成という1タスクだけで突出した成績を出していました。
このままでは結果が歪みます。
そのため、投稿者はこのモデルをリーダーボードから除外しました。
集計方法ひとつで、ランキングは簡単に狂います。
ベンチマーク設計の難しさがよく分かるエピソードです。
モデル名の公開が投票をバイアスする？
別のユーザーは、投票後にモデル名を明かす仕組み自体に疑問を投げかけていました。
なぜなら、投票を重ねるうちに各モデルの「作風」を覚えてしまうからです。
実際、あるユーザーはこう報告しています。
GPTの生成したドキュメントを一度見たら、それ以降は毎回見分けられるようになったと。
作風で判別できるなら、それはもう匿名投票とは言えません。
エンタメとしては面白い。
しかし、検証としての妥当性を損なう。
そんな指摘でした。
投稿者も、タスク数の少なさは認めています。
当初8タスクに絞ったのは、コストの問題だったそうです。
全モデルにフルベンチマークを走らせると、費用がすぐに膨れ上がるからです。
今後はタスクを追加していく予定とのこと。
その中には、スタイルの多様性を促すプロンプトも含まれるようです。
余談：Claudeの「自律性」は強みか弱みか
コメント欄では、ベンチマークから少し脱線した興味深い議論もありました。
Claudeとオープンモデルの、コーディング能力を巡るやり取りです。
あるユーザーの主張は、次のようなものでした。
Claudeはコードを速く書ける。
しかし、指示から逸脱して勝手に実装を進めてしまう。
一方、オープンモデルは指示に忠実で、頼んだことだけを正確にやる。
だから、長期的にはコードの保守性も可読性も高くなる。
これに対して、投稿者は次のように整理していました。
Claudeは、放置しても進む長時間タスクに向いている。
ただし、元の意図から逸れるリスクがある。
オープンモデルは外科手術のように正確だが、その分だけ人間の関与が必要になる。
自律性を取るか、統制を取るか。
どちらを重視するかで、モデルの評価は正反対になり得るわけです。
まとめ
推論ベンチマークの成績と、実務で使える成果物を作る能力は別物でした。
高価なフロンティアモデルが、ドキュメント生成では負ける。
しかも、相手は30倍安いオープンウェイトモデルです。
この結果は、モデル選定の常識を見直すきっかけになりそうです。
同時に、コメント欄の議論はベンチマーク自体の限界も浮き彫りにしました。
1タスクの偏りが順位を狂わせます。
そして、モデル名の公開が投票者の中立性を蝕みます。
数字を鵜呑みにせず、集計の裏側まで見る姿勢が欠かせません。
用途に合ったモデルは、実際に成果物を比べて選ぶ。
結局はこれに尽きるのでしょう。
気になる方は、公開されているDocBench Arenaで実際に投票してみてください。
自分の目で2つのドキュメントを見比べると、ランキングとは違う発見があるかもしれません。
