A Anthropic acabou de divulgar seu manual interno sobre avaliações de segurança — 10 recomendações concretas que abrangem design, execução e comunicação dos resultados. Este é o processo real de engenharia por trás da decisão de lançar um modelo ou mandá-lo de volta para treinamento.

Principais áreas de foco técnico:
- Metodologia de design das avaliações (como criar testes que realmente detectem capacidades perigosas)
- Infraestrutura de execução (como executar avaliações em grande escala sem falsos positivos)
- Padrões de comunicação dos resultados (quais métricas importam e quais são apenas números de vaidade)

Isso é importante porque as avaliações de segurança determinam diretamente as decisões de implantação e a alocação de recursos. Se suas avaliações forem fracas, você pode acabar lançando modelos arriscados ou desperdiçando meses com trabalho de segurança desnecessário.

Vale a leitura se você está desenvolvendo sistemas com LLMs ou tentando entender como os principais laboratórios realmente controlam os lançamentos, para além do discurso de relações públicas.