海外の掲示板で、ある比較結果が話題になっていました。
Claude Fable 5とFable 5.1を、同じ条件で走らせた記録です。
投稿と、そこに集まったコメントを読んで整理した内容になります。
数字がかなり生々しく、議論の焦点もはっきりしていました。
そこで、要点を紹介します。
MineBenchという変わったテスト
まず、舞台になったベンチマークから説明します。
MineBenchは、投稿者本人が作って公開している個人プロジェクトです。
モデルにブロックのパレットと「戦闘機を作れ」といったお題を渡します。
そして、ブロック一つひとつの座標をJSONで返させるのです。
返ってきた座標は、そのまま3Dで組み立てられます。
あとは、どれだけお題らしい立体になったかを見るだけ。
レゴを言葉だけで組ませていると考えると、わかりやすいでしょう。
ただし、正解が一つに決まるテストではありません。
投稿者自身、モデルの能力を決定的に測るものではないと書いています。
とはいえ、賢いモデルほど作り込みが細かくなる傾向はあるそうです。
「あるベンチマークで80%が82%になりました」と言われても、なかなか実感がわきません。
目で見て感覚をつかめる点が、受けている理由のようです。
時間は2倍、請求は3倍近く
肝心の数字を並べます。
| Fable 5 | Fable 5.1 | |
|---|---|---|
| 平均推論時間 | 18分04秒 | 40分12秒 |
| 15体分の合計コスト | $54.93 | $147.55 |
| 平均JSONサイズ | 30.65 MiB | 34.07 MiB（最大88.76 MiB） |
API価格そのものは据え置きです。
それでも、請求額は3倍近くまで膨らみました。
もっとも、投稿者はこの結果を悲観一色で受け止めてはいません。
現在リーダーボード首位のGPT 5.6 Sol Proと比べれば、まだ桁違いに安いからです。
増えたのは出力ではなく、考えている時間
コメント欄で一番鋭かった指摘は、ここでした。
出力サイズは30.65 MiBから34.07 MiBへ、ほとんど動いていません。
つまり、作られた構造物の物量が3倍になったわけではないのです。
にもかかわらず、コストは3倍。
差分のほぼすべてが思考時間だ、という読み解きになります。
失敗した試行が重くのしかかる
見落としやすいのが、リトライの存在です。
15体を仕上げるまでに、合計23回走らせています。
8回は完走できずに終わりました。
1体あたりに直すと$9.84。
他のベンチマークでいう、タスク単価にあたる金額です。
リトライの原因は、投稿者によると主に二つ。
- パレットに含まれないブロックを使ってしまい、検証側で無効と判定される
- 最大思考設定のせいで出力予算を思考に使い切り、JSONが途中で切れる
ここに対して、あるコメントがうまい整理をしていました。
失敗の中身がJSONのパースエラーなのか、それともモデルがお題から逸れたのか。
この違いで、直すべき場所がまるで変わります。
前者は検証側の作り込みで済むでしょう。
しかし後者は、モデル自体の問題です。
そして思考が費用の主役になった今、失敗した実行は丸ごと損になります。
考えた分だけ課金され、成果物は何も残りません。
初めて「部屋」らしい室内ができた
進歩もありました。
Fable 5.1は、内部が本当に室内として認識できる建物を作った最初のモデルだったそうです。
コテージの中に入ると、ベッド、テーブル、本棚、暖炉が置かれている。
外形をそれらしく整えるだけでなく、内側の意味まで手が回るようになった。
そう言えるかもしれません。
文字は、まだ裏返る
一方で、後退したように見える部分もあります。
文字の向きです。
Fable 5は、平均して文字を正しい向きで置ける唯一のモデルでした。
ところが5.1では、それが反転してしまいます。
ただし投稿者は、これを退化と断定していません。
同じお題を何度か生成し直せば、正しい向きになる可能性もあるからです。
非決定性による揺れかもしれない、という慎重な書き方をしていました。
天井ではなく、床が上がった
「結局どっちがいいのか」という素朴な質問も出ていました。
好みは、はっきり割れています。
5のほうが細部の作り込みで勝る場面がある。
しかし5.1は、全体の比率が明らかに良い。
この見方が印象的でした。
比率が良くなったのは、モデルが持つ世界の捉え方が改善した証拠だ、というわけです。
投稿者本人は、5.1を「天井ではなく床を上げたモデル」と表現していました。
飛び抜けた一発は増えていない。
けれども、外れが減った。
ユーザー投票でもわずかに5.1が優勢でしたが、新モデルの順位は数日たたないと落ち着かないそうです。
そもそも触れない、という不満
コメントで最も支持を集めたのは、性能の話ですらありませんでした。
Fable 5.1が、クレジット払いか上位プラン向けに限られている点への不満です。
試したいのに、手が届かない。
そういう声でした。
これには反論もついています。
通常プランの利用上限でこの手の重い生成を回しても、現実的には使い物にならない、という指摘です。
制限のかけ方に納得できるかは別として、筋は通っているでしょう。
思考の強さを下げるという選択肢
今回の計測は、すべて最大の思考設定で行われています。
投稿者は、公平さのためにシステムプロンプトを変えていません。
パラメータも、常に各モデルで使える最高設定に揃えています。
特定のモデル向けに条件を調整すると、過去の結果と比較できなくなるからです。
その前提を踏まえたうえで、思考量を中程度に落として試してほしい、というコメントが複数ありました。
Anthropicの説明では、低〜中設定の5.1が5の高設定に匹敵するとされている。
そんな話も出ています。
もしそれが本当なら、費用対効果の絵はかなり変わって見えるはずです。
まとめ
今回の比較から読み取れることを、私なりに整理します。
Fable 5.1は、成果物の量ではなく思考の量でコストを押し上げました。
出来上がりは、着実に良くなっています。
ただし、値段の伸びほどではありません。
室内の表現のように明確な前進がある一方で、文字の向きのように以前できていたことを落としてもいます。
そして、最大思考という条件を忘れてはいけません。
この設定が、結果をかなり極端にしている可能性があります。
思考量を落とせば、印象は違ったでしょう。
ベンチマークの数字を眺めるとき、私たちはつい「どちらが強いか」だけを見てしまいます。
しかし実務で効いてくるのは、もっと地味な条件です。
失敗したときにいくら溶けるのか。
そのモデルに、自分が手を伸ばせるのか。
今回の投稿とコメントは、そこを思い出させてくれました。
