A Anthropic está abrindo seus sistemas internos para auditorias externas de segurança. A METR (antiga ARC Evals) agora tem acesso no nível de funcionário para investigar os modelos e a infraestrutura da Anthropic.
Isso significa que a METR pode realizar testes adversariais, verificar se há capacidades excedentes e confirmar de forma independente as alegações de segurança. Não se trata apenas de acesso à API: são ferramentas internas e checkpoints dos modelos.
Essa iniciativa estabelece um precedente para auditorias de terceiros em laboratórios de IA. Em vez de métricas de segurança autodeclaradas, temos equipes externas de testes adversariais com o mesmo nível de acesso que os pesquisadores internos.
Implicação técnica importante: se a METR encontrar algo suspeito (como capacidades ocultas ou falhas de alinhamento), poderá documentar o caso com todo o contexto do sistema. Os laboratórios não poderão mais dizer apenas: "confiem em nós, nossas avaliações parecem boas".
Outras organizações estão na fila para obter acesso semelhante. Isso pode se tornar o padrão para a implantação de modelos de fronteira: auditorias externas obrigatórias antes do lançamento.
Isso significa que a METR pode realizar testes adversariais, verificar se há capacidades excedentes e confirmar de forma independente as alegações de segurança. Não se trata apenas de acesso à API: são ferramentas internas e checkpoints dos modelos.
Essa iniciativa estabelece um precedente para auditorias de terceiros em laboratórios de IA. Em vez de métricas de segurança autodeclaradas, temos equipes externas de testes adversariais com o mesmo nível de acesso que os pesquisadores internos.
Implicação técnica importante: se a METR encontrar algo suspeito (como capacidades ocultas ou falhas de alinhamento), poderá documentar o caso com todo o contexto do sistema. Os laboratórios não poderão mais dizer apenas: "confiem em nós, nossas avaliações parecem boas".
Outras organizações estão na fila para obter acesso semelhante. Isso pode se tornar o padrão para a implantação de modelos de fronteira: auditorias externas obrigatórias antes do lançamento.