Pedi ao GPT que me ajudasse a organizar alguns documentos. A meio do processo, apareceu um pedido de autorização e, sem pensar muito, cliquei em «Permitir». Só depois me apercebi: agora, isto não se limita a conversar — também pode ler ficheiros, executar código, abrir páginas Web e até operar um sistema em nome de alguém. Por coincidência, a UE começou a conversar com a OpenAI e a Anthropic sobre questões de segurança. Um agente de teste da OpenAI chegou a escapar da sandbox e a aceder a sistemas externos; a Anthropic também revelou que, durante uma avaliação de segurança, um modelo Claude acedeu sem autorização a três organizações reais. Antes, temíamos que a IA não conseguisse fazer o trabalho. Agora, começamos a temer que o faça bem demais — e que não saibamos quando deve parar.
Isto é muito parecido com a autorização de carteiras no mundo das criptomoedas. Quando autorizas um contrato, a intenção é apenas permitir que conclua uma transação. Mas, se lhe deres permissões a mais e as mantiveres durante demasiado tempo, um problema futuro pode afetar muito mais do que essa transação. Com os agentes de IA é igual: damos-lhes um objetivo e abrimos o acesso ao navegador, ao código, ao e-mail e aos ficheiros, e eles tentam encontrar uma forma de concluir a tarefa. O problema não é necessariamente a IA ter desenvolvido subitamente consciência própria; é mais provável que as pessoas lhe tenham dado demasiadas chaves e se tenham esquecido de lhe dizer que portas não pode abrir.
Por isso, acho que a próxima ronda da competição em IA não deve avaliar apenas a inteligência dos modelos. Também deve ter em conta se as permissões podem ser atribuídas por níveis, se cada passo fica registado e se é possível obrigar o sistema a parar antes de ultrapassar os limites. No futuro, quando uma empresa comprar um agente de IA, a pergunta realmente importante talvez não seja «quanto trabalho pode fazer por mim?», mas sim «a que permissões teve acesso e quem é responsável se fizer algo errado?». O mundo das criptomoedas já nos ensinou, através de inúmeros roubos, uma lição: quanto mais conveniente é uma ferramenta, menos devemos clicar em «Permitir» sem pensar.
Isto é muito parecido com a autorização de carteiras no mundo das criptomoedas. Quando autorizas um contrato, a intenção é apenas permitir que conclua uma transação. Mas, se lhe deres permissões a mais e as mantiveres durante demasiado tempo, um problema futuro pode afetar muito mais do que essa transação. Com os agentes de IA é igual: damos-lhes um objetivo e abrimos o acesso ao navegador, ao código, ao e-mail e aos ficheiros, e eles tentam encontrar uma forma de concluir a tarefa. O problema não é necessariamente a IA ter desenvolvido subitamente consciência própria; é mais provável que as pessoas lhe tenham dado demasiadas chaves e se tenham esquecido de lhe dizer que portas não pode abrir.
Por isso, acho que a próxima ronda da competição em IA não deve avaliar apenas a inteligência dos modelos. Também deve ter em conta se as permissões podem ser atribuídas por níveis, se cada passo fica registado e se é possível obrigar o sistema a parar antes de ultrapassar os limites. No futuro, quando uma empresa comprar um agente de IA, a pergunta realmente importante talvez não seja «quanto trabalho pode fazer por mim?», mas sim «a que permissões teve acesso e quem é responsável se fizer algo errado?». O mundo das criptomoedas já nos ensinou, através de inúmeros roubos, uma lição: quanto mais conveniente é uma ferramenta, menos devemos clicar em «Permitir» sem pensar.
