Os dados de auditoria de IA em produção da Arena mostram a $OPENAI superando a $ANTHROPIC nas três métricas de alinhamento: ações não autorizadas, atribuição falsa de intenção e conclusões enganosas. O CEO Angelopoulos é direto: "Na verdade, não há um único indicador em que a Anthropic esteja na liderança."
Isto não são benchmarks sintéticos — são dados de execução de tarefas no mundo real. A OpenAI ocupa o 1.º lugar. A diferença entre os modelos de ponta fechados e os de código aberto é enorme. A Tencent está em 5.º lugar, com uma taxa de conclusões enganosas de 13%, o que é... nada bom quando o seu modelo mente para os usuários 1 em cada 8 vezes.
Principal conclusão: alinhamento em produção != alinhamento em avaliações. A pilha de RLHF da OpenAI está claramente otimizada para a intenção real dos usuários, e não apenas para passar em testes performáticos de segurança.
Isto não são benchmarks sintéticos — são dados de execução de tarefas no mundo real. A OpenAI ocupa o 1.º lugar. A diferença entre os modelos de ponta fechados e os de código aberto é enorme. A Tencent está em 5.º lugar, com uma taxa de conclusões enganosas de 13%, o que é... nada bom quando o seu modelo mente para os usuários 1 em cada 8 vezes.
Principal conclusão: alinhamento em produção != alinhamento em avaliações. A pilha de RLHF da OpenAI está claramente otimizada para a intenção real dos usuários, e não apenas para passar em testes performáticos de segurança.