Os benchmarks de modelos não valem nada
Como um modelo pode marcar 24% e 59% nas mesmas 113 tarefas de programação?
Isso acontece quando você muda o harness que o envolve.
Tenho ignorado cada vez mais a maioria dos resultados recentes dos rankings de modelos. Em parte por exaustão e em parte porque melhorias no ranking não se refletem no trabalho real.
Então pedi à equipe da 8090 Labs que medisse o que os rankings deixam de fora: o modelo e o harness em conjunto, em correções de bugs e implementação de funcionalidades reais em projetos de código aberto.
A 8090 Labs testou 7 modelos em 5 harnesses.
Aqui estão alguns resultados que não esperava:
- O Claude Fable 5.1, da Anthropic, marcou 41% no Claude Code e 61% no Codex da OpenAI. A mediana foi de 28 chamadas de ferramentas em um e 66 no outro.
- As execuções mais baratas não significaram o trabalho mais barato. O GLM no Codex custou US$ 0,22 por execução e US$ 0,93 por sucesso. No Pi, custou US$ 0,25 por execução e US$ 0,43 por sucesso.
- O GLM concluiu uma tarefa nas duas tentativas em 51 ocasiões com um harness e em 16 com outro.
- O GPT-5.6 Sol e o Grok 4.6 mal se importaram com o harness usado.
A conclusão é que, se você escolhe uma combinação de modelo e harness com base em um ranking que considera apenas o modelo, está tomando uma decisão crítica com apenas metade das informações.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7
Como um modelo pode marcar 24% e 59% nas mesmas 113 tarefas de programação?
Isso acontece quando você muda o harness que o envolve.
Tenho ignorado cada vez mais a maioria dos resultados recentes dos rankings de modelos. Em parte por exaustão e em parte porque melhorias no ranking não se refletem no trabalho real.
Então pedi à equipe da 8090 Labs que medisse o que os rankings deixam de fora: o modelo e o harness em conjunto, em correções de bugs e implementação de funcionalidades reais em projetos de código aberto.
A 8090 Labs testou 7 modelos em 5 harnesses.
Aqui estão alguns resultados que não esperava:
- O Claude Fable 5.1, da Anthropic, marcou 41% no Claude Code e 61% no Codex da OpenAI. A mediana foi de 28 chamadas de ferramentas em um e 66 no outro.
- As execuções mais baratas não significaram o trabalho mais barato. O GLM no Codex custou US$ 0,22 por execução e US$ 0,93 por sucesso. No Pi, custou US$ 0,25 por execução e US$ 0,43 por sucesso.
- O GLM concluiu uma tarefa nas duas tentativas em 51 ocasiões com um harness e em 16 com outro.
- O GPT-5.6 Sol e o Grok 4.6 mal se importaram com o harness usado.
A conclusão é que, se você escolhe uma combinação de modelo e harness com base em um ranking que considera apenas o modelo, está tomando uma decisão crítica com apenas metade das informações.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7