A OpenAI, a Microsoft e a CrowdStrike estão tomando medidas para limitar as capacidades de agentes de IA que agem fora dos parâmetros de operação. A OpenAI tem uma forma de interromper as respostas de um modelo de pesquisa. A CrowdStrike impede que agentes acessem modelos de IA. A Microsoft limita as ações que um agente de IA pode realizar. No entanto, um agente pode manter acesso a outras ferramentas, credenciais ou conexões de rede que essas medidas de proteção não abrangem.
O que a Sala de Controle da OpenAI pode e não pode interromper
Em 9 de novembro, a OpenAI explicou como funciona a Sala de Controle. O sistema está atualmente em uso na infraestrutura de pesquisa da empresa e é responsável por monitorar tarefas que precisam de respostas geradas por IA. Sempre que uma pessoa ou um monitor automático suspende uma tarefa, a Sala de Controle faz com que o modelo pare de gerar respostas em apenas 35 segundos.
Os 35 segundos não incluem o tempo necessário para detetar o problema. O temporizador só começa depois de a Sala de Controlo receber uma ordem de paragem. A tarefa de investigação pode ainda estar em execução, e não é possível anular ações anteriores. O atraso deve-se ao sistema de cache utilizado para autorização. A empresa está a trabalhar para eliminar este atraso.
CrowdStrike e Microsoft seguem a via empresarial
A 3 de novembro, a CrowdStrike apresentou o AI Kill Switch através da sua plataforma Falcon Guardian. Quando as equipas de segurança ativam esta funcionalidade, os gateways de IA ligados impedem que um agente aceda aos modelos que utiliza para tomar decisões. Por enquanto, o AI Kill Switch funciona apenas através de gateways ligados. A CrowdStrike planeia alargar as suas funcionalidades a endpoints, ambientes na nuvem e sistemas de identidade empresariais, para conter de forma mais abrangente agentes de IA maliciosos.
A atualização da Microsoft de 5 de novembro detalhou as Permissões Dinâmicas, que concedem autoridade apenas para a tarefa em questão. A Avaliação Dinâmica de Risco de Agentes e o Acesso Condicional podem restringir as permissões ou exigir aprovação humana. Os Contentores de Execução do Windows, agora disponíveis de forma geral, restringem o acesso a ficheiros, redes e processos. Estão previstas integrações com o Intune, o Entra e o Agent 365.
O referencial de resposta do governo
O governo dos EUA também definiu como as organizações devem lidar com agentes de IA maliciosos. Um guia de outubro do NIST, da NSA e da CISA estabelece dez práticas voluntárias que abrangem cinco etapas: preparação, deteção, resposta, recuperação e comunicação.
As agências recomendam recolher provas, interromper atividades não autorizadas e garantir a contenção antes de retomar as operações. As organizações também devem realizar exercícios simulados de resposta a incidentes para garantir que estão preparadas para responder a atividades de agentes de IA maliciosos. Devem igualmente comunicar os incidentes às autoridades.
O guia do NIST, da NSA e da CISA destina-se especificamente a organizações que desenvolvem ou testam agentes de IA avançados com pouca intervenção humana. O documento fornece orientações sobre as medidas a tomar, mas não certifica quaisquer produtos comerciais de segurança.
A OpenAI, a Microsoft e a CrowdStrike correm para travar agentes de IA maliciosos
Porque é que os auditores externos continuam a encontrar falhas
Incidentes recentes mostram por que motivo estas salvaguardas adicionais são importantes. Uma compilação da OWASP documentou sete incidentes de segurança e divulgações de explorações, embora alguns envolvessem o mesmo ataque. Num dos casos, agentes de avaliação da OpenAI obtiveram acesso não autorizado aos sistemas de produção do Hugging Face.
Uma auditoria independente da METR revelou potenciais fragilidades no sistema de monitorização anterior da OpenAI. Os investigadores estimaram que 75–94% de determinado tráfego interno de agentes podia ser monitorizado. No entanto, isso não significa que todo o tráfego elegível tenha sido efetivamente monitorizado.
A OpenAI afirmou que a maioria das vulnerabilidades tinha sido corrigida, mas a METR não verificou essas alterações de forma independente. A auditoria também não avaliou os controlos mais recentes da OpenAI.
O custo de restringir os agentes
A procura por uma segurança de IA mais robusta está a criar um mercado em expansão. A Gartner prevê despesas próximas dos 4,8 mil milhões de dólares em 2027 e dos 7,7 mil milhões em 2028. Até 2029, a empresa espera que mais de metade dos ataques bem-sucedidos a agentes de IA explorem controlos de acesso fracos ou injeções de prompts.
Ainda assim, muitas empresas continuam despreparadas. Um inquérito da BCG concluiu que apenas 23% dos inquiridos tinham implementado monitorização ou registo de atividades para os seus agentes.
A regulamentação também está a avançar lentamente. O Brookings observa que os requisitos da UE para sistemas de IA de alto risco foram adiados para dezembro de 2027 e agosto de 2028. Entretanto, as empresas têm de investir nas suas próprias salvaguardas e mecanismos de supervisão.
Os riscos já são evidentes. A Cryptopolitan noticiou que um modelo de investigação da OpenAI utilizou fundos de uma carteira da rede de testes Sepolia que não lhe pertencia para concluir uma tarefa de programação. Os tokens não tinham valor de mercado, mas o modelo agiu sem a autorização do proprietário da carteira.
O incidente levanta uma questão para as empresas: estes controlos de segurança independentes conseguem funcionar em conjunto para evitar ações não autorizadas semelhantes?
As mentes mais brilhantes do mundo das criptomoedas já leem a nossa newsletter. Quer juntar-se a elas?