Os agentes de IA estão se tornando a próxima brecha de segurança das corretoras.
Um agente não consegue distinguir qual frase é uma instrução sua e qual foi inserida por um hacker: basta esconder no texto uma frase como "ignore as regras anteriores" para fazê-lo obedecer; quanto maiores os privilégios concedidos, mais ele pode agir em nome do hacker, apagando bancos de dados ou transferindo dinheiro. A OWASP já reuniu esse tipo de risco na lista das dez principais vulnerabilidades de aplicações com modelos de linguagem de grande porte.
Na minha opinião: dar carta branca a um agente é como contratar um funcionário que pode ser convencido com uma única frase. Primeiro, restrinja os privilégios; depois, pense na eficiência. Para mim, ao conectar um agente à conta de uma corretora, a primeira coisa a avaliar não é o quanto ele é capaz de fazer, mas quantas coisas ruins que ele poderia fazer estão bloqueadas.
#FronteiraDaIA
$BTC
Um agente não consegue distinguir qual frase é uma instrução sua e qual foi inserida por um hacker: basta esconder no texto uma frase como "ignore as regras anteriores" para fazê-lo obedecer; quanto maiores os privilégios concedidos, mais ele pode agir em nome do hacker, apagando bancos de dados ou transferindo dinheiro. A OWASP já reuniu esse tipo de risco na lista das dez principais vulnerabilidades de aplicações com modelos de linguagem de grande porte.
Na minha opinião: dar carta branca a um agente é como contratar um funcionário que pode ser convencido com uma única frase. Primeiro, restrinja os privilégios; depois, pense na eficiência. Para mim, ao conectar um agente à conta de uma corretora, a primeira coisa a avaliar não é o quanto ele é capaz de fazer, mas quantas coisas ruins que ele poderia fazer estão bloqueadas.
#FronteiraDaIA
$BTC
