Uma mulher de Bonita Springs, na Flórida, Carli Michelle Heller, foi presa depois que investigadores disseram que ela usava o Claude como um diário e escreveu sobre atirar contra o Gabinete do Xerife do Condado de Lee em 26 de setembro. Segundo o ChainCatcher, ela também disse no dia seguinte que havia conseguido uma arma nova, levando os sistemas de segurança da Anthropic a sinalizar as conversas para análise humana e comunicá-las às autoridades policiais.

A polícia identificou Heller com base no relatório, foi até a casa dela e a deteve. Ela foi acusada de fazer uma ameaça de violência por escrito, e o julgamento está marcado para novembro.

Os termos para consumidores da Anthropic reservam à empresa o direito de denunciar às autoridades policiais, a seu exclusivo critério, informações fornecidas pelos usuários, respostas geradas ou comportamentos. Sua política de privacidade, em vigor desde 10 de setembro de 2026, também permite que a empresa compartilhe dados com a polícia quando considerar que a divulgação é razoavelmente necessária para evitar danos graves.

A empresa ainda pode usar os dados dos usuários por até três meses, em vez de cinco anos, mesmo que eles optem por não participar do treinamento do modelo. As conversas sinalizadas para revisão também são usadas para melhorar a detecção de conteúdo nocivo.

O caso não é o primeiro a envolver a Anthropic e encaminhamentos à polícia. Em setembro, o The San Francisco Standard noticiou que a Anthropic havia entregado outro usuário à polícia depois que a pessoa supostamente escreveu sobre comprar um fuzil AR-15 e colocar o CEO Dario Amodei na mira. Na época, a Anthropic afirmou que suas medidas de proteção estavam funcionando como previsto.