Modell-Benchmarks sind wertlos
Wie kann ein Modell bei denselben 113 Programmieraufgaben einmal 24 % und einmal 59 % erreichen?
Das passiert, wenn man die Harness-Umgebung variiert, die das Modell umgibt.
Ich ignoriere zunehmend die meisten aktuellen Ergebnisse von Modell-Ranglisten. Zum Teil aus Erschöpfung und zum Teil, weil sich Verbesserungen in einer Rangliste nicht in der tatsächlichen Arbeit bemerkbar machen.
Also bat ich das Team von 8090 Labs zu messen, was bei Ranglisten außen vor bleibt: das Modell und die Harness-Umgebung zusammen, anhand echter Fehlerbehebungen und neuer Funktionen in Open-Source-Projekten.
8090 Labs hat 7 Modelle mit 5 Harness-Umgebungen getestet.
Hier sind ein paar Ergebnisse, mit denen ich nicht gerechnet hatte:
- Claude Fable 5.1 von Anthropic erreichte in Claude Code 41 % und in Codex von OpenAI 61 %. In der einen Umgebung führte das Modell im Median 28 Tool-Aufrufe aus, in der anderen 66.
- Die günstigsten Durchläufe waren nicht die günstigste Arbeit. GLM kostete in Codex 0,22 $ pro Durchlauf und 0,93 $ pro erfolgreichem Durchlauf. In Pi kostete es 0,25 $ pro Durchlauf und 0,43 $ pro erfolgreichem Durchlauf.
- GLM löste eine Aufgabe in einer Harness-Umgebung bei beiden Versuchen 51-mal erfolgreich, in einer anderen nur 16-mal.
- GPT-5.6 Sol und Grok 4.6 war es weitgehend egal, in welcher Harness-Umgebung sie eingesetzt wurden.
Unterm Strich gilt: Wenn du eine Modell-Harness-Kombination anhand einer Rangliste auswählst, die nur Modelle bewertet, triffst du eine entscheidende Wahl auf Grundlage der halben Informationen.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7
Wie kann ein Modell bei denselben 113 Programmieraufgaben einmal 24 % und einmal 59 % erreichen?
Das passiert, wenn man die Harness-Umgebung variiert, die das Modell umgibt.
Ich ignoriere zunehmend die meisten aktuellen Ergebnisse von Modell-Ranglisten. Zum Teil aus Erschöpfung und zum Teil, weil sich Verbesserungen in einer Rangliste nicht in der tatsächlichen Arbeit bemerkbar machen.
Also bat ich das Team von 8090 Labs zu messen, was bei Ranglisten außen vor bleibt: das Modell und die Harness-Umgebung zusammen, anhand echter Fehlerbehebungen und neuer Funktionen in Open-Source-Projekten.
8090 Labs hat 7 Modelle mit 5 Harness-Umgebungen getestet.
Hier sind ein paar Ergebnisse, mit denen ich nicht gerechnet hatte:
- Claude Fable 5.1 von Anthropic erreichte in Claude Code 41 % und in Codex von OpenAI 61 %. In der einen Umgebung führte das Modell im Median 28 Tool-Aufrufe aus, in der anderen 66.
- Die günstigsten Durchläufe waren nicht die günstigste Arbeit. GLM kostete in Codex 0,22 $ pro Durchlauf und 0,93 $ pro erfolgreichem Durchlauf. In Pi kostete es 0,25 $ pro Durchlauf und 0,43 $ pro erfolgreichem Durchlauf.
- GLM löste eine Aufgabe in einer Harness-Umgebung bei beiden Versuchen 51-mal erfolgreich, in einer anderen nur 16-mal.
- GPT-5.6 Sol und Grok 4.6 war es weitgehend egal, in welcher Harness-Umgebung sie eingesetzt wurden.
Unterm Strich gilt: Wenn du eine Modell-Harness-Kombination anhand einer Rangliste auswählst, die nur Modelle bewertet, triffst du eine entscheidende Wahl auf Grundlage der halben Informationen.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7