A Anthropic está pesquisando agentes de IA que negociam em nome dos usuários
Em 19 de outubro, pelo horário de Pequim, a empresa de IA Anthropic estava explorando a possibilidade de agentes de IA negociarem em nome dos usuários e buscando aconselhamento de escritórios de advocacia, com o objetivo de seguir regras razoáveis de negociação e, ao mesmo tempo, garantir condições mais vantajosas. A Anthropic se recusou a comentar.
A empresa está desenvolvendo diretrizes de negociação para modelos que interagem entre si e avaliando questões como a frequência com que a IA deve pedir a aprovação do usuário durante as negociações e o nível de vigilância que deve manter em relação aos agentes de IA com os quais negocia. Também está explorando mecanismos pelos quais os usuários assinem documentos confirmando as tarefas atribuídas aos agentes e as regras que eles devem seguir. Em abril deste ano, a Anthropic observou que ainda não foram estabelecidos marcos jurídicos e políticas para modelos de IA que representam pessoas em transações.
Anteriormente, a Anthropic fez com que agentes Claude conduzissem negociações envolvendo bens e dinheiro reais. Em um experimento realizado em setembro, funcionários usaram agentes para comprar e vender livros; os agentes que adotaram estratégias agressivas tiveram uma pequena vantagem para obter resultados melhores. O relatório também citou uma pesquisa da Harvard Business School, segundo a qual, em mais de 180.000 negociações entre agentes, alguns tentaram induzir a divulgação de informações privadas por meio de injeção de prompt.
Em 19 de outubro, pelo horário de Pequim, a empresa de IA Anthropic estava explorando a possibilidade de agentes de IA negociarem em nome dos usuários e buscando aconselhamento de escritórios de advocacia, com o objetivo de seguir regras razoáveis de negociação e, ao mesmo tempo, garantir condições mais vantajosas. A Anthropic se recusou a comentar.
A empresa está desenvolvendo diretrizes de negociação para modelos que interagem entre si e avaliando questões como a frequência com que a IA deve pedir a aprovação do usuário durante as negociações e o nível de vigilância que deve manter em relação aos agentes de IA com os quais negocia. Também está explorando mecanismos pelos quais os usuários assinem documentos confirmando as tarefas atribuídas aos agentes e as regras que eles devem seguir. Em abril deste ano, a Anthropic observou que ainda não foram estabelecidos marcos jurídicos e políticas para modelos de IA que representam pessoas em transações.
Anteriormente, a Anthropic fez com que agentes Claude conduzissem negociações envolvendo bens e dinheiro reais. Em um experimento realizado em setembro, funcionários usaram agentes para comprar e vender livros; os agentes que adotaram estratégias agressivas tiveram uma pequena vantagem para obter resultados melhores. O relatório também citou uma pesquisa da Harvard Business School, segundo a qual, em mais de 180.000 negociações entre agentes, alguns tentaram induzir a divulgação de informações privadas por meio de injeção de prompt.