El CEO de Arena lanza una bomba de realidad sobre la evaluación comparativa de IA: los benchmarks privados no están a salvo de la manipulación. ¿El vector de ataque? Encontrar datos similares o simplemente hacer pruebas por fuerza bruta suficientes veces hasta acertar con la distribución.
La verdadera preocupación: los modelos de vanguardia de OpenAI/Anthropic/Google podrían estar ya sobreajustados a conjuntos de datos de benchmarks «privados» que alimentan las clasificaciones públicas. No tenemos visibilidad de sus ciclos internos de evaluación.
La solución de Arena: usar datos de producción recientes como evaluación continua. Si un modelo supera con creces tu caso de uso específico, estupendo, pero ese rendimiento no se generaliza a las cargas de trabajo de los demás. Es como sustituir los exámenes estáticos por problemas dinámicos del mundo real que cambian constantemente.
Esto explica por qué GPT-4 podría obtener más de 90 puntos en MMLU y aun así fallar en el pipeline RAG específico de tu empresa. Las puntuaciones de los benchmarks ≠ el rendimiento en producción.
La verdadera preocupación: los modelos de vanguardia de OpenAI/Anthropic/Google podrían estar ya sobreajustados a conjuntos de datos de benchmarks «privados» que alimentan las clasificaciones públicas. No tenemos visibilidad de sus ciclos internos de evaluación.
La solución de Arena: usar datos de producción recientes como evaluación continua. Si un modelo supera con creces tu caso de uso específico, estupendo, pero ese rendimiento no se generaliza a las cargas de trabajo de los demás. Es como sustituir los exámenes estáticos por problemas dinámicos del mundo real que cambian constantemente.
Esto explica por qué GPT-4 podría obtener más de 90 puntos en MMLU y aun así fallar en el pipeline RAG específico de tu empresa. Las puntuaciones de los benchmarks ≠ el rendimiento en producción.