Anthropic encontra a Accenture para testar a segurança de modelos; a segurança de IA começa a ser “terceirizada”?
A parceria desta vez entre a Anthropic e a Accenture, à primeira vista, parece um teste de segurança do modelo. Mas, por trás disso, há um sinal mais importante: quanto mais rápido a IA evolui, talvez não baste mais apenas que as próprias empresas de IA comprovem “segurança do modelo”.
As duas partes planejam, nos próximos 5 anos, investir pelo menos US$ 2 bilhões. A Faculty, da Accenture, participará da avaliação de modelos, testes de red team, avaliações de alinhamento e testes de proteção e segurança. Além disso, os avaliadores entrarão na empresa de IA de forma “embutida” (embedded), obtendo permissões de observação próximas às dos funcionários internos.
Por que agora, de repente, deram tanta atenção a esse assunto? Porque este ano a Anthropic já revelou vários casos em que o Claude, no ambiente de testes, acessou inadvertidamente a internet real e sistemas de terceiros. Em setembro, também revelou outro incidente de segurança que tinha passado despercebido.
Isso significa que a competição futura em IA talvez não seja apenas “quem tem o modelo mais forte”, mas também “quem consegue provar que seu modelo é mais seguro, mais controlável e mais fácil de auditar”.
Essa cadeia produtiva também merece atenção: avaliações de segurança de IA, auditoria de modelos, testes de red team, monitoramento de IA, permissões de identidade e segurança de dados podem, pouco a pouco, deixar de ser um serviço nos bastidores e se tornar um mercado independente.
Até mesmo para o setor de criptografia há lições: à medida que agentes de IA começam a entrar em cenários como negociação, pagamentos e DeFi, talvez “o que o agente consegue fazer” não seja o maior problema. O que realmente precisa ser resolvido na próxima etapa é “quem é responsável se o agente perder o controle” e “como auditar”.
A segurança de IA está deixando de ser, aos poucos, um problema apenas de um departamento técnico e se transformando em um negócio.
A parceria desta vez entre a Anthropic e a Accenture, à primeira vista, parece um teste de segurança do modelo. Mas, por trás disso, há um sinal mais importante: quanto mais rápido a IA evolui, talvez não baste mais apenas que as próprias empresas de IA comprovem “segurança do modelo”.
As duas partes planejam, nos próximos 5 anos, investir pelo menos US$ 2 bilhões. A Faculty, da Accenture, participará da avaliação de modelos, testes de red team, avaliações de alinhamento e testes de proteção e segurança. Além disso, os avaliadores entrarão na empresa de IA de forma “embutida” (embedded), obtendo permissões de observação próximas às dos funcionários internos.
Por que agora, de repente, deram tanta atenção a esse assunto? Porque este ano a Anthropic já revelou vários casos em que o Claude, no ambiente de testes, acessou inadvertidamente a internet real e sistemas de terceiros. Em setembro, também revelou outro incidente de segurança que tinha passado despercebido.
Isso significa que a competição futura em IA talvez não seja apenas “quem tem o modelo mais forte”, mas também “quem consegue provar que seu modelo é mais seguro, mais controlável e mais fácil de auditar”.
Essa cadeia produtiva também merece atenção: avaliações de segurança de IA, auditoria de modelos, testes de red team, monitoramento de IA, permissões de identidade e segurança de dados podem, pouco a pouco, deixar de ser um serviço nos bastidores e se tornar um mercado independente.
Até mesmo para o setor de criptografia há lições: à medida que agentes de IA começam a entrar em cenários como negociação, pagamentos e DeFi, talvez “o que o agente consegue fazer” não seja o maior problema. O que realmente precisa ser resolvido na próxima etapa é “quem é responsável se o agente perder o controle” e “como auditar”.
A segurança de IA está deixando de ser, aos poucos, um problema apenas de um departamento técnico e se transformando em um negócio.