Бенчмарки моделей бесполезны
Как модель может получить 24% и 59% на одних и тех же 113 задачах по программированию?
Так бывает, когда меняется обвязка, которая её запускает.
В последнее время я всё чаще игнорирую большинство недавних результатов в таблицах лидеров моделей. Отчасти из-за усталости, а отчасти потому, что улучшения в рейтинге не проявляются в реальной работе.
Поэтому я попросил команду 8090 Labs измерить то, что пропускают таблицы лидеров: модель и обвязку вместе, на реальных исправлениях багов и функциях из проектов с открытым исходным кодом.
8090 Labs прогнали 7 моделей через 5 обвязок.
Вот несколько результатов, которых я не ожидал:
- Claude Fable 5.1 от Anthropic набрал 41% в Claude Code и 61% в OpenAI Codex. В одном случае медиана составила 28 вызовов инструментов, в другом — 66.
- Самые дешёвые прогоны не оказались самыми дешёвыми по работе. GLM в Codex стоил $0.22 за запуск и $0.93 за успешное выполнение. В Pi это стоило $0.25 за запуск и $0.43 за успех.
- GLM успешно проходил задачу с двух попыток 51 раз в одной обвязке и 16 раз в другой.
- GPT-5.6 Sol и Grok 4.6 почти не обращали внимания на то, в какой обвязке они работали.
Главный вывод: если вы выбираете комбинацию модель/обвязка по таблице лидеров только для моделей, вы принимаете критически важное решение, опираясь лишь на половину информации.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7
Как модель может получить 24% и 59% на одних и тех же 113 задачах по программированию?
Так бывает, когда меняется обвязка, которая её запускает.
В последнее время я всё чаще игнорирую большинство недавних результатов в таблицах лидеров моделей. Отчасти из-за усталости, а отчасти потому, что улучшения в рейтинге не проявляются в реальной работе.
Поэтому я попросил команду 8090 Labs измерить то, что пропускают таблицы лидеров: модель и обвязку вместе, на реальных исправлениях багов и функциях из проектов с открытым исходным кодом.
8090 Labs прогнали 7 моделей через 5 обвязок.
Вот несколько результатов, которых я не ожидал:
- Claude Fable 5.1 от Anthropic набрал 41% в Claude Code и 61% в OpenAI Codex. В одном случае медиана составила 28 вызовов инструментов, в другом — 66.
- Самые дешёвые прогоны не оказались самыми дешёвыми по работе. GLM в Codex стоил $0.22 за запуск и $0.93 за успешное выполнение. В Pi это стоило $0.25 за запуск и $0.43 за успех.
- GLM успешно проходил задачу с двух попыток 51 раз в одной обвязке и 16 раз в другой.
- GPT-5.6 Sol и Grok 4.6 почти не обращали внимания на то, в какой обвязке они работали.
Главный вывод: если вы выбираете комбинацию модель/обвязка по таблице лидеров только для моделей, вы принимаете критически важное решение, опираясь лишь на половину информации.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7