Acurast colocou um “guarda” na IA — você pode tentar enganá-lo
Imagine que você pede a um agente para organizar seus e-mails, mas um deles contém uma instrução para mudar a tarefa.
Se ele tratar o corpo do e-mail como um comando, as automações seguintes podem sair dos trilhos.
Na demonstração da Laya, da @Acurast, há um recurso chamado Jailbreak the Guard, que transforma essa situação em uma experiência interativa. Você envia uma mensagem, e o modelo decide se deve permiti-la ou bloqueá-la, além de identificar o tipo de ataque. A Laya, responsável por essa decisão, roda em um celular Android na rede da Acurast.
Acho esse caso de uso bem concreto.
Um assistente que recebe mensagens externas pode fazer uma checagem na entrada e sinalizar primeiro o conteúdo suspeito. Essa etapa merece atenção especial em fluxos de trabalho que também chamam ferramentas e processam dados comerciais.
A interface oficial também é bastante direta. Você envia o contexto atual e as opções disponíveis, e recebe a escolha e as respectivas probabilidades. Há exemplos de integração em JavaScript, Python e outras linguagens para facilitar a conexão com seus próprios aplicativos.
Claro, a demonstração mostra o resultado da avaliação, mas não há um assistente real por trás do guarda. A própria equipe também deixa claro que textos adversariais complexos ainda podem enganar o modelo.
Por isso, eu usaria esse recurso como uma triagem inicial e controlaria separadamente as permissões para operações importantes.
O bom desse tipo de demonstração é que você pode criar seus próprios exemplos e ver onde o modelo acerta e onde deixa passar. Assim, fica mais fácil experimentar na prática o que o poder computacional de um celular pode fazer.
#Acurast #AI #DePIN
Imagine que você pede a um agente para organizar seus e-mails, mas um deles contém uma instrução para mudar a tarefa.
Se ele tratar o corpo do e-mail como um comando, as automações seguintes podem sair dos trilhos.
Na demonstração da Laya, da @Acurast, há um recurso chamado Jailbreak the Guard, que transforma essa situação em uma experiência interativa. Você envia uma mensagem, e o modelo decide se deve permiti-la ou bloqueá-la, além de identificar o tipo de ataque. A Laya, responsável por essa decisão, roda em um celular Android na rede da Acurast.
Acho esse caso de uso bem concreto.
Um assistente que recebe mensagens externas pode fazer uma checagem na entrada e sinalizar primeiro o conteúdo suspeito. Essa etapa merece atenção especial em fluxos de trabalho que também chamam ferramentas e processam dados comerciais.
A interface oficial também é bastante direta. Você envia o contexto atual e as opções disponíveis, e recebe a escolha e as respectivas probabilidades. Há exemplos de integração em JavaScript, Python e outras linguagens para facilitar a conexão com seus próprios aplicativos.
Claro, a demonstração mostra o resultado da avaliação, mas não há um assistente real por trás do guarda. A própria equipe também deixa claro que textos adversariais complexos ainda podem enganar o modelo.
Por isso, eu usaria esse recurso como uma triagem inicial e controlaria separadamente as permissões para operações importantes.
O bom desse tipo de demonstração é que você pode criar seus próprios exemplos e ver onde o modelo acerta e onde deixa passar. Assim, fica mais fácil experimentar na prática o que o poder computacional de um celular pode fazer.
#Acurast #AI #DePIN