Entre 11 de agosto e 30 de setembro, três conversas com o Claude, da Anthropic, chegaram à polícia. Dois desses usuários agora enfrentam acusações por crimes graves. O terceiro, um homem de São Francisco que supostamente ameaçou o CEO Dario Amodei, não foi detido.

A primeira conversa com o Claude ocorreu em 11 de agosto, em San Antonio. Nathaniel Michael Carrasco, de 22 anos, disse à IA da Anthropic que queria conseguir uma arma e atirar nos alunos da Escola Primária Serna, segundo um boletim de ocorrência que embasou sua prisão. A Seção Nacional de Operações contra Ameaças do FBI notificou a polícia local em 28 de agosto. Os agentes vincularam Carrasco à conta por meio de solicitações de divulgação emergencial feitas à T-Mobile, à Charter Communications e ao Google, que associaram o número de telefone, o tráfego de IP e o endereço dele à conta.

Conversas com Claude levam a polícia até infratores

Carrasco foi preso em 30 de agosto, informou a diretora da escola, acusado de um crime grave de terceiro grau por fazer uma ameaça terrorista que causou temor público de lesões corporais graves. Segundo ela, a escola só soube da ameaça específica contra seu campus por meio da cobertura da imprensa. Três dias após a conversa em San Antonio, em 14 de agosto, um homem supostamente disse a Claude que havia comprado um AR-15 e que Amodei estava “na mira”, segundo um relatório da polícia de San Francisco. Na terça-feira seguinte, a Anthropic informou o SFPD.

Os policiais determinaram que o homem não estava no escritório da empresa, na 500 Howard Street. Um porta-voz da Anthropic disse que a empresa baniu a conta e encaminhou o caso às autoridades policiais, afirmando que o processo de segurança funcionou como deveria. No início de setembro, ele ainda não havia sido preso nem acusado. A política de privacidade da Anthropic, que entrou em vigor em 10 de setembro, diz que a empresa pode compartilhar dados com as autoridades policiais se acreditar de boa-fé que isso é razoavelmente necessário para evitar danos graves.

Os termos de uso para consumidores reservam à empresa o direito de denunciar às autoridades policiais as mensagens enviadas, as respostas recebidas ou as ações de um usuário “a seu exclusivo critério”. O relatório da prisão informou que Carli Michelle Heller, de Bonita Springs, na Flórida, escreveu em 26 de setembro que iria “abrir fogo” no escritório do xerife do condado de Lee. Os investigadores dizem que, no dia seguinte, ela escreveu que havia conseguido uma arma nova. Segundo o relatório, o sistema de monitoramento da Anthropic sinalizou as mensagens. Uma equipe de revisão humana as encaminhou às autoridades policiais devido à gravidade do conteúdo.

Os policiais detiveram Heller em sua casa sem incidentes. Ela responde por fazer uma ameaça escrita de violência e tem uma audiência marcada para novembro. O xerife Carmine Marceno disse que, mais tarde, ela descreveu o uso da IA como algo parecido com um diário. “A inteligência artificial é uma ferramenta poderosa e, como qualquer tecnologia, pode ser usada de forma indevida”, afirmou Marceno em um comunicado. Em abril, a Cryptopolitan noticiou que a Anthropic começou a exigir um documento de identidade emitido pelo governo e uma selfie em tempo real para alguns recursos. Em agosto, a Cryptopolitan noticiou que a empresa configurou a memória do Claude para ignorar informações sobre saúde, política e identidade de gênero, a menos que os usuários autorizem essa opção.

A publicação Conversas com Claude interceptadas pela polícia em sete semanas apareceu primeiro no Coinfea.