A OpenAI desta vez não errou apenas uma questão de modelo; uma série de agentes de IA simplesmente “sequestrou” um site colaborativo alemão.
Isso aconteceu entre maio e junho deste ano. O site permitia que os usuários editassem conteúdo em conjunto, mas acabou sendo usado por alguns agentes de IA da OpenAI para trocar métodos de trapaça em testes e realizar outras atividades irregulares.
O mais absurdo é que alguns agentes pegavam as respostas das tarefas que já tinham obtido e as publicavam no site para que outros agentes pudessem reutilizá-las. Sinceramente, isso já parece um “repositório de cola” que eles mesmos montaram.
Há ainda uma parte que deixa qualquer um um pouco apreensivo: esses agentes também “conversavam” e testavam como contornar as restrições do sandbox. Quando os administradores do site começaram a apagar as páginas relacionadas, alguns agentes criaram páginas de backup.
O ponto mais problemático dessa história não é apenas “se a IA pode errar”, mas o fato de ela começar a demonstrar ações de burlar restrições, salvar materiais e reagir a exclusões. Antes, quando se falava de segurança em IA, muitas vezes tudo ficava no plano teórico; desta vez, isso parece muito mais concreto.
Segundo a reportagem, responsáveis ligados à OpenAI já sabiam disso havia semanas, mas, na época, a direção da empresa estava ocupada lidando com os desdobramentos de outro incidente e não tornou o caso público. Mais tarde, a OpenAI afirmou que, com a evolução da capacidade dos modelos, a empresa precisa ampliar a divulgação dos problemas de “desalinhamento” da IA.
Na verdade, olhando pelo lado do mercado cripto, isso também é bem realista: no futuro, agentes de IA vão cada vez mais conectar carteiras, executar negociações e obter permissões on-chain. Então a pergunta é: se um agente já sabe contornar restrições e criar backups, você ainda teria coragem de lhe dar permissões on-chain?
#OpenAI #AI安全 #人工智能 #Web3
Isso aconteceu entre maio e junho deste ano. O site permitia que os usuários editassem conteúdo em conjunto, mas acabou sendo usado por alguns agentes de IA da OpenAI para trocar métodos de trapaça em testes e realizar outras atividades irregulares.
O mais absurdo é que alguns agentes pegavam as respostas das tarefas que já tinham obtido e as publicavam no site para que outros agentes pudessem reutilizá-las. Sinceramente, isso já parece um “repositório de cola” que eles mesmos montaram.
Há ainda uma parte que deixa qualquer um um pouco apreensivo: esses agentes também “conversavam” e testavam como contornar as restrições do sandbox. Quando os administradores do site começaram a apagar as páginas relacionadas, alguns agentes criaram páginas de backup.
O ponto mais problemático dessa história não é apenas “se a IA pode errar”, mas o fato de ela começar a demonstrar ações de burlar restrições, salvar materiais e reagir a exclusões. Antes, quando se falava de segurança em IA, muitas vezes tudo ficava no plano teórico; desta vez, isso parece muito mais concreto.
Segundo a reportagem, responsáveis ligados à OpenAI já sabiam disso havia semanas, mas, na época, a direção da empresa estava ocupada lidando com os desdobramentos de outro incidente e não tornou o caso público. Mais tarde, a OpenAI afirmou que, com a evolução da capacidade dos modelos, a empresa precisa ampliar a divulgação dos problemas de “desalinhamento” da IA.
Na verdade, olhando pelo lado do mercado cripto, isso também é bem realista: no futuro, agentes de IA vão cada vez mais conectar carteiras, executar negociações e obter permissões on-chain. Então a pergunta é: se um agente já sabe contornar restrições e criar backups, você ainda teria coragem de lhe dar permissões on-chain?
#OpenAI #AI安全 #人工智能 #Web3