🧪 A Anthropic afirma que um modelo pode passar com louvor em um teste de segurança recusando todos os pedidos em situações de crise e, ainda assim, ser inseguro
A Anthropic publicou recomendações sobre os testes que determinam se um modelo será lançado, quais salvaguardas devem acompanhá-lo e que trabalho de segurança deve ser feito em seguida. Nos testes de API de turno único, os modelos recentes apresentam uma taxa de respostas inofensivas de 94% a 98%, e a Anthropic afirma que esses testes fáceis já chegaram ao limite. Em uma avaliação de golpes românticos com vários turnos, o Claude Opus 5 obteve 98% e o Opus 5.5, 94% — uma diferença que, segundo a Anthropic, não foi estatisticamente significativa. Os intervalos de confiança nas avaliações de API com vários turnos podem ultrapassar ±10 pontos percentuais.
⭐ Uma pontuação perfeita em recusas pode ocultar um modelo que abandona alguém justamente quando essa pessoa precisa de ajuda.
#IA
A Anthropic publicou recomendações sobre os testes que determinam se um modelo será lançado, quais salvaguardas devem acompanhá-lo e que trabalho de segurança deve ser feito em seguida. Nos testes de API de turno único, os modelos recentes apresentam uma taxa de respostas inofensivas de 94% a 98%, e a Anthropic afirma que esses testes fáceis já chegaram ao limite. Em uma avaliação de golpes românticos com vários turnos, o Claude Opus 5 obteve 98% e o Opus 5.5, 94% — uma diferença que, segundo a Anthropic, não foi estatisticamente significativa. Os intervalos de confiança nas avaliações de API com vários turnos podem ultrapassar ±10 pontos percentuais.
⭐ Uma pontuação perfeita em recusas pode ocultar um modelo que abandona alguém justamente quando essa pessoa precisa de ajuda.
#IA
