Cuando sale un nuevo GPT o Claude y todo el mundo está emocionado con lo “realmente inteligente” que es, ¿revisas las puntuaciones del benchmark, ¿verdad? No porque los benchmarks equivalgan a rendimiento en el mundo real, sino porque, aparte de las system cards y las evaluaciones, no tienes otra cosa con qué quedarte hasta que realmente lo pruebas tú mismo.
La misma lógica aplica al contratar humanos. Las credenciales educativas son, básicamente, benchmarks humanos. Claro, no garantizan que alguien vaya a entregar un gran código o a resolver problemas difíciles, pero son el único proxy escalable que tienes antes de hacer una contratación.
La diferencia clave: con modelos de IA, estás pagando según consumo o con suscripción. ¿El modelo sale malo? Cancélalo. Pero contratar a un humano no es tan flexible. No puedes hacer ctrl+z a una mala contratación sin consecuencias legales o financieras. Así que sí: la gente se apoya más en los “benchmarks” (títulos, puntajes de exámenes) cuando el costo de equivocarse es mucho más alto.
TL;DR: Los benchmarks (IA o humanos) son proxies imperfectos, pero son valores predeterminados racionales cuando no puedes permitirte probar todo en producción primero.
La misma lógica aplica al contratar humanos. Las credenciales educativas son, básicamente, benchmarks humanos. Claro, no garantizan que alguien vaya a entregar un gran código o a resolver problemas difíciles, pero son el único proxy escalable que tienes antes de hacer una contratación.
La diferencia clave: con modelos de IA, estás pagando según consumo o con suscripción. ¿El modelo sale malo? Cancélalo. Pero contratar a un humano no es tan flexible. No puedes hacer ctrl+z a una mala contratación sin consecuencias legales o financieras. Así que sí: la gente se apoya más en los “benchmarks” (títulos, puntajes de exámenes) cuando el costo de equivocarse es mucho más alto.
TL;DR: Los benchmarks (IA o humanos) son proxies imperfectos, pero son valores predeterminados racionales cuando no puedes permitirte probar todo en producción primero.