モデルのベンチマークには価値がない

同じ113件のコーディングタスクで、モデルのスコアが24%にも59%にもなるのはなぜ？

モデルを取り巻くハーネスを変えると、そんなことが起こります。

最近のモデルのリーダーボードの結果は、ほとんど気にしなくなってきました。疲れてきたというのもありますが、順位が上がっても実際の作業には反映されないからです。

そこで8090 Labsのチームに、リーダーボードが見落としているものを測定してもらいました。オープンソースプロジェクトの実際のバグ修正や機能追加を対象に、モデルとハーネスを組み合わせて評価したのです。

8090 Labsは、7つのモデルを5つのハーネスで実行しました。

予想外だった結果をいくつか紹介します。

- AnthropicのClaude Fable 5.1は、Claude Codeでは41%、OpenAIのCodexでは61%のスコアでした。ツール呼び出しの中央値は、一方では28回、もう一方では66回でした。

- 実行単価が最安でも、作業コストが最安とは限りませんでした。CodexでGLMを使うと、1回あたり0.22ドル、成功1回あたり0.93ドル。Piでは1回あたり0.25ドル、成功1回あたり0.43ドルでした。

- GLMは、あるハーネスでは同じタスクを2回ともクリアしたのが51回、別のハーネスでは16回でした。

- GPT-5.6 SolとGrok 4.6は、どのハーネスを使うかにほとんど左右されませんでした。

結論として、モデルだけのリーダーボードを見てモデルとハーネスの組み合わせを選ぶのは、情報の半分だけをもとに重大な判断を下すことになります。

https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7