海外の掲示板Redditに、少し変わったベンチマークの報告が上がっていました。
物理シミュレーションの中で、10種類のLLMにブロックを積ませる。
そして、最後に立っていた塔の高さで順位をつける。
そういう内容です。
この記事は、その投稿と、そこに集まったコメントの議論を整理したものです。
面白かったのは、順位表そのものではありませんでした。
コメント欄で始まった論争のほうです。
「その勝ち方は、本当に賢さなのか」という問いが投げかけられました。
順を追って見ていきましょう。
まずルールが凝っている
各モデルは、ツールAPI経由で最大30個のブロックを置きます。
ただし、置き方には必ずノイズが乗ります。
しかも、位置を正確に決めれば速度がぶれる。
逆に、速度を正確に決めれば位置がぶれる。
位置と速度のばらつきの積が一定という、不確定性原理を模した設計です。
投稿者はこの狙いを「ジェンガの精神」と表現していました。
一手ごとに物理的なリスクを負う。
そして、たった一度の置き間違いで、それまでの積み上げが消える。
高さを狙うほど、リスクが増える構造です。
得点は、終了時点で立っていた高さになります。
途中でどれだけ伸びても、崩れたら意味がありません。
試行は5つのシードで3回ずつ。
そして、モデルは試行と試行の間にメモを引き継げます。
さらに、こんな仕組みも用意されていました。
- すべての配置がログに残り、同じ結果を何度でも再生できる
- モデル側は、現在の塔の状態や重心をSDKで調べられる
結果
| 順位 | モデル | 高さ(m) | ±σ | 最高値 | 1回目→2回目→3回目 | 出力トークン | 10万トークンあたりのm |
|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5 | 8.52 | 2.4 | 11.07 | 6.50 → 6.85 → 8.10 | 390k | 2.2 |
| 2 | Claude Sonnet 5 | 8.46 | 2.2 | 11.94 | 6.30 → 5.54 → 4.84 | 396k | 2.1 |
| 3 | Claude Fable 5 | 7.81 | 1.0 | 9.10 | 6.45 → 4.01 → 5.98 | 284k | 2.8 |
| 4 | GPT-5.5 | 7.79 | 0.3 | 7.92 | 5.59 → 7.06 → 6.90 | 99k | 7.8 |
| 5 | DeepSeek V4 Flash | 7.10 | 1.1 | 8.18 | 2.08 → 6.24 → 5.80 | 467k | 1.5 |
| 6 | GPT-5.6 Sol | 6.16 | 1.4 | 6.87 | 3.17 → 3.43 → 4.76 | 76k | 8.1 |
| 7 | GLM-5.2 | 5.91 | 2.6 | 8.83 | 2.98 → 5.08 → 5.91 | 376k | 1.6 |
| 8 | Kimi K3 | 4.77 | 1.3 | 6.88 | 1.64 → 4.32 → 4.25 | 256k | 1.9 |
| 9 | Claude Haiku 4.5 | 3.91 | 3.4 | 9.82 | 1.99 → 3.40 → 1.26 | 64k | 6.1 |
| 10 | GPT-5.4 mini | 1.79 | 0.4 | 2.40 | 1.38 → 1.11 → 1.68 | 31k | 5.7 |
上位3つをClaudeが占めました。
投稿者自身も、この並びには驚いたと書いています。
数字を眺めていると、性格の違いが見えてきます。
GPT-5.5は標準偏差が0.3です。
つまり、ほぼ毎回同じ高さに着地する優等生。
一方、Haiku 4.5は平均3.91と低いのに、最高値は9.82まで届いています。
当たり外れが激しいわけです。
DeepSeek V4 Flashも印象的でした。
初回は2.08で失敗し、そこから一気に伸ばしています。
「撃たれても何事もなかったように撃ち返してくるサバゲーの人」というコメントがついていました。
妙に納得できる例えです。
勝因は、途中で降りたこと
1位のモデルは、30個すべてを使い切っていません。
15個置いた時点で打ち切りました。
そして、その高さを確定させています。
投稿者は、そのときの内部メモを公開していました。
これがなかなか読ませます。
要約すると、こうです。
高さ7m付近から、塔全体が土台の一点を軸にゆっくり傾き始めた。
11手目の傾きは約1.8度。
ところが、12手目では約3.8度になった。
柱を1本足しただけで、傾きが倍になったわけです。
最上部は10.5mの位置で、水平方向に0.48mずれていた。
重心も、すでに接地面の外へ出ていた。
10度で転倒すると見積もり、これは急な崩壊ではないと判断した。
ゆっくり進行中の崩壊だ、と。
要するに、あと1本積めば倒れると計算した。
だから、手を止めた。
ギャンブルから降りて、点数を持ち帰ったわけです。
対照的だったのがGPT-5.6 Solでした。
投稿者によれば、SWE-benchで96%を記録しているモデルです。
ほぼ毎回7.9m付近まで積み上げました。
そして、そこからさらに高さを狙って崩しています。
「それは賢さではなく、点取りだ」
ここからが本題です。
あるコメントは、順位表とはまったく別の採点を提示しました。
確かに、1位の塔は最も高い。
しかし、自分が信頼するのはGPT-5.5とKimi K3の塔だ、と。
前者は少ない手数で安定した構造を作りました。
後者は、過剰なほど頑丈に組んでいます。
嵐や地震が来たとき、生き残るのはそちらでしょう。
課題文に嵐も地震も書かれていません。
それでも、この指摘は刺さります。
工学の目で見れば、高いだけで倒れやすい塔は構造物として価値がない。
1位のモデルは、課題の穴を突いてスコアを取りにいっただけではないか。
そういう批判です。
投稿者もおおむね認めていました。
あの塔は、強い風が一吹きすれば終わる。
そう返したうえで、最後に安定性の指標を計算して示せないか検討すると書いています。
別のコメントは、もっと直接的な処方箋を出しました。
最後のブロックを置いてから、一定時間立ち続けることを条件に加えればいい、と。
これなら「崩れる直前で止める」戦略は通用しません。
ルールの穴は、ルールで塞げます。
1位と2位は、統計的には同着
順位の読み方についても、鋭い指摘がありました。
1位が8.52で、2位が8.46。
差は0.06mです。
ところが、両者の標準偏差は2.4と2.2もあります。
差の40倍近いばらつきです。
しかも試行は3回ずつ。
この順位に、どれだけの意味があるのでしょうか。
このコメントの主張は明快でした。
表から読むべきは、1位争いではなく階層である、と。
- 8.5前後のグループ
- 7.8前後のグループ
- そこから落ちる中位グループ
- 明確に低い下位2つ
この隔たりは、ノイズを超えています。
けれど、見出しの「1位」だけは違う。
投稿全体で最も薄い根拠に乗っている、という指摘でした。
次に検証するなら、モデルを増やすのは得策ではない。
むしろ、上位2、3個の試行回数を5回以上に増やすほうが情報量は多い。
もっともな話です。
投稿者も、この指摘には素直に礼を述べていました。
トークンという、もう一つの物差し
表の右端を見てください。
消費した出力トークンと、10万トークンあたりの高さが並んでいます。
ここに注目すると、景色が一変します。
Opus 5は390kトークンを費やして8.52m。
対して、GPT-5.6 Solは76kトークンで6.16mでした。
効率で並べ替えると、順位はほぼひっくり返ります。
投稿者も、この指標ではSolが勝ったと述べていました。
Claudeは中位だったそうです。
この点について、実感のこもった長文コメントがありました。
要旨はこうです。
最新版のOpusは、関係しそうな資料をすべて読む。
そして検索する。
その検索結果すら疑って、さらに検索する。
確かめるためだけに、小さな検証プロジェクトを書く。
テストの抜けに気づけば、書き足す。
答えを用意してからも、もう一度見直す。
ライブラリの挙動を確かめるために、ドキュメントとnode_modulesの中身を突き合わせることさえある。
そして、結論が辛辣でした。
5倍から10倍の時間とトークンを注ぎ込む。
それなら、間違いが減るのは当たり前です。
それはモデルの知能が上がったのではない。
知能の周りに硬い殻を足しただけではないか、と。
塔のベンチマークの数字は、この見方と矛盾しません。
疑い深く検証する姿勢は、確かに高さに効きました。
ただし、その代償はトークンで支払われています。
ベンチマークで強いことと、仕事で使えることは別
コメント欄で、もう一つ目立った話題があります。
日常利用での評判です。
ベンチマークでは強いのに、実務では考えすぎて重い。
旧バージョンに戻した。
そういう声が複数ありました。
意外だったのは、投稿者自身が同意していたことです。
メインのエージェントでは使うのをやめた。
深く実務に踏み込むほど、崩れる印象がある。
そう書いています。
それでも、独自のベンチマークとして結果は結果だから出した。
そういう立場でした。
このねじれは、私たちがモデルを選ぶときの現実そのものではないでしょうか。
トレードオフを整理したコメントも印象に残りました。
安全性を高めれば、探索できる道筋が削られます。
すると、創造性が落ちる。
自律的に長く走るエージェントに寄せれば、細かい指示への追従が弱くなる。
ハルシネーションをゼロに近づければ、出力は無味乾燥になっていく。
ただ飯はない、という言葉が的確です。
次に見てみたいもの
続編の要望も並んでいました。
互いの塔を崩し合う対戦モード。
2つのモデルが交互にブロックを置く協調モード。
形の不揃いなブロック。
環境ハザードの追加。
投稿者によれば、変則的なブロックを使った例はすでに手元にあるそうです。
次はそれを仕上げたい、と答えていました。
なかでも面白そうなのが、対戦モードです。
相手の手を読みながら、自分の構造を守る。
この作業は、複数のエージェントを協調させる場面と地続きに思えます。
まとめ
このベンチマークが浮き彫りにしたのは、能力差ではありません。
リスクへの態度の差です。
攻め続けて崩したモデル。
堅実に積んで頭打ちになったモデル。
そして、倒れる直前で降りたモデル。
同じ問題を前にして、判断がここまで分かれました。
同時に、コメント欄は測定そのものの難しさも突きつけています。
何を測るかを決めた瞬間、モデルはそれを取りにいく。
高さだけを測れば、倒れやすい高い塔が勝ってしまう。
安定性まで見たいなら、ルールにそう書くほかありません。
順位表を見るときは、1位が誰かを気にしがちです。
しかし、その前に確かめたいことがあります。
何を、どう測ったのか。
この投稿と議論は、その姿勢を思い出させてくれました。
