Las evaluaciones comparativas de modelos no sirven de nada
¿Cómo puede un modelo obtener un 24 % y un 59 % en las mismas 113 tareas de programación?
Ocurre cuando cambias el entorno que lo envuelve.
Cada vez presto menos atención a la mayoría de los resultados recientes de las tablas de clasificación de modelos. En parte, por agotamiento, y en parte porque las mejoras en una clasificación no se reflejan en el trabajo real.
Así que pedí al equipo de 8090 Labs que midiera lo que las tablas de clasificación no miden: el modelo y el entorno en conjunto, en correcciones de errores y funciones reales de proyectos de código abierto.
8090 Labs probó 7 modelos con 5 entornos.
Estos son algunos resultados que no esperaba:
- Claude Fable 5.1 de Anthropic obtuvo un 41 % en Claude Code y un 61 % en Codex de OpenAI. La mediana de llamadas a herramientas fue de 28 en uno y de 66 en el otro.
- Las ejecuciones más baratas no fueron las que dieron lugar al trabajo más barato. GLM en Codex costó $0.22 por ejecución y $0.93 por éxito. En Pi costó $0.25 por ejecución y $0.43 por éxito.
- GLM superó una tarea en ambos intentos 51 veces en un entorno y 16 veces en otro.
- A GPT-5.6 Sol y Grok 4.6 apenas les importó en qué entorno estaban.
En resumen: si eliges una combinación de modelo y entorno basándote en una tabla de clasificación que solo evalúa modelos, estás tomando una decisión crucial con solo la mitad de la información.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7
¿Cómo puede un modelo obtener un 24 % y un 59 % en las mismas 113 tareas de programación?
Ocurre cuando cambias el entorno que lo envuelve.
Cada vez presto menos atención a la mayoría de los resultados recientes de las tablas de clasificación de modelos. En parte, por agotamiento, y en parte porque las mejoras en una clasificación no se reflejan en el trabajo real.
Así que pedí al equipo de 8090 Labs que midiera lo que las tablas de clasificación no miden: el modelo y el entorno en conjunto, en correcciones de errores y funciones reales de proyectos de código abierto.
8090 Labs probó 7 modelos con 5 entornos.
Estos son algunos resultados que no esperaba:
- Claude Fable 5.1 de Anthropic obtuvo un 41 % en Claude Code y un 61 % en Codex de OpenAI. La mediana de llamadas a herramientas fue de 28 en uno y de 66 en el otro.
- Las ejecuciones más baratas no fueron las que dieron lugar al trabajo más barato. GLM en Codex costó $0.22 por ejecución y $0.93 por éxito. En Pi costó $0.25 por ejecución y $0.43 por éxito.
- GLM superó una tarea en ambos intentos 51 veces en un entorno y 16 veces en otro.
- A GPT-5.6 Sol y Grok 4.6 apenas les importó en qué entorno estaban.
En resumen: si eliges una combinación de modelo y entorno basándote en una tabla de clasificación que solo evalúa modelos, estás tomando una decisión crucial con solo la mitad de la información.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7