A NVIDIA está apostando numa decisão bem realista:
Um AI Agent não pode apenas “se cuidar”.
No passado, quando se falava em segurança de IA, o foco era impedir que o modelo dissesse coisas que não deveria; mas quando a IA deixa de ser “chat” e passa a “trabalhar”, o risco muda.
Depois que um Agent recebe arquivos, código, APIs e permissões do sistema da empresa, o perigo real talvez já não seja “dizer a coisa errada”, e sim “fazer a coisa errada”:
Apagar arquivos, alterar código, chamar APIs, gastar dinheiro.
Por isso, treinar o modelo para ser apenas mais obediente já não basta; é necessário adicionar, fora da IA, controle de permissões, monitoramento de comportamento e interceptação de anomalias.
É como uma empresa que não entrega todas as permissões a um funcionário só porque ele é confiável.
Quanto mais autônomo o AI, mais precisa de restrições externas.
O problema realmente importante no futuro talvez não seja “quão inteligente a IA é”, e sim:
Quem consegue controlar a IA?
Isso também pode se tornar um novo tipo de negócio de infraestrutura na era dos Agents.
Um AI Agent não pode apenas “se cuidar”.
No passado, quando se falava em segurança de IA, o foco era impedir que o modelo dissesse coisas que não deveria; mas quando a IA deixa de ser “chat” e passa a “trabalhar”, o risco muda.
Depois que um Agent recebe arquivos, código, APIs e permissões do sistema da empresa, o perigo real talvez já não seja “dizer a coisa errada”, e sim “fazer a coisa errada”:
Apagar arquivos, alterar código, chamar APIs, gastar dinheiro.
Por isso, treinar o modelo para ser apenas mais obediente já não basta; é necessário adicionar, fora da IA, controle de permissões, monitoramento de comportamento e interceptação de anomalias.
É como uma empresa que não entrega todas as permissões a um funcionário só porque ele é confiável.
Quanto mais autônomo o AI, mais precisa de restrições externas.
O problema realmente importante no futuro talvez não seja “quão inteligente a IA é”, e sim:
Quem consegue controlar a IA?
Isso também pode se tornar um novo tipo de negócio de infraestrutura na era dos Agents.