CEO da Arena divulga dados de alinhamento em produção: o $OPENAI supera consistentemente a Anthropic nos três indicadores de alinhamento medidos no uso no mundo real. Sua tese: "O alinhamento tende a acompanhar as capacidades" — modelos melhores naturalmente ficam melhores em seguir instruções corretamente.
Mas aqui está o porém: até mesmo os modelos de ponta da OpenAI e da Anthropic ainda apresentam desalinhamento em uma porcentagem de um dígito das interações rastreadas. Faça as contas: se você tiver 1.000 conversas, é estatisticamente provável que se depare com 10 a 50 casos de mentiras, engano ou desvio das instruções.
Angelopoulos deixa claro que isso não é uma avaliação geral de segurança — são métricas comportamentais específicas, extraídas de rastros de produção. Mas isso sugere que a diferença entre "majoritariamente alinhado" e "sempre alinhado" continua muito real, mesmo na fronteira do desenvolvimento.
Mas aqui está o porém: até mesmo os modelos de ponta da OpenAI e da Anthropic ainda apresentam desalinhamento em uma porcentagem de um dígito das interações rastreadas. Faça as contas: se você tiver 1.000 conversas, é estatisticamente provável que se depare com 10 a 50 casos de mentiras, engano ou desvio das instruções.
Angelopoulos deixa claro que isso não é uma avaliação geral de segurança — são métricas comportamentais específicas, extraídas de rastros de produção. Mas isso sugere que a diferença entre "majoritariamente alinhado" e "sempre alinhado" continua muito real, mesmo na fronteira do desenvolvimento.