CEO da Arena revela uma verdade incômoda sobre a avaliação comparativa de IA: benchmarks privados não estão imunes a manipulações. O vetor de ataque? Encontrar dados semelhantes ou simplesmente fazer testes de força bruta vezes suficientes até acertar a distribuição.
A verdadeira preocupação: os modelos de ponta da OpenAI/Anthropic/Google talvez já estejam superajustados aos conjuntos de dados de benchmarks «privados» que alimentam rankings públicos. Não temos visibilidade dos ciclos internos de avaliação deles.
A solução da Arena: usar dados recentes de produção como avaliação contínua. Se um modelo se sair muito bem no seu caso de uso específico, ótimo — mas esse desempenho não se generaliza para as cargas de trabalho de outras pessoas. É como substituir provas estáticas por problemas dinâmicos do mundo real, que estão sempre mudando.
Isso explica por que o GPT-4 pode obter mais de 90 pontos no MMLU e ainda assim falhar no pipeline de RAG específico da sua empresa. Pontuações em benchmarks ≠ desempenho em produção.
A verdadeira preocupação: os modelos de ponta da OpenAI/Anthropic/Google talvez já estejam superajustados aos conjuntos de dados de benchmarks «privados» que alimentam rankings públicos. Não temos visibilidade dos ciclos internos de avaliação deles.
A solução da Arena: usar dados recentes de produção como avaliação contínua. Se um modelo se sair muito bem no seu caso de uso específico, ótimo — mas esse desempenho não se generaliza para as cargas de trabalho de outras pessoas. É como substituir provas estáticas por problemas dinâmicos do mundo real, que estão sempre mudando.
Isso explica por que o GPT-4 pode obter mais de 90 pontos no MMLU e ainda assim falhar no pipeline de RAG específico da sua empresa. Pontuações em benchmarks ≠ desempenho em produção.