Del 11 de agosto al 30 de septiembre, tres conversaciones con Claude, de Anthropic, llegaron a la policía. Dos de esos usuarios ahora enfrentan cargos por delitos graves. El tercero, un hombre de San Francisco que supuestamente amenazó al director ejecutivo Dario Amodei, no fue detenido.
La primera conversación con Claude tuvo lugar el 11 de agosto en San Antonio. Nathaniel Michael Carrasco, de 22 años, le dijo a la IA de Anthropic que quería conseguir un arma y dispararles a los alumnos de la escuela primaria Serna, según una declaración jurada de arresto. La Sección Nacional de Operaciones contra Amenazas del FBI notificó a la policía local el 28 de agosto. Los agentes vincularon a Carrasco con la cuenta mediante solicitudes de divulgación de emergencia a T-Mobile, Charter Communications y Google, que relacionaron su número de teléfono, el tráfico de su dirección IP y su domicilio con la cuenta.
Los chats de Claude llevan a la policía hasta los infractores
Carrasco fue arrestado el 30 de agosto, según informó la directora de la escuela, acusado de un delito grave de tercer grado por proferir una amenaza terrorista que causó temor público de sufrir lesiones corporales graves. Según ella, la escuela solo descubrió la amenaza específica contra sus instalaciones a través de la cobertura periodística. Tres días después del chat de San Antonio, el 14 de agosto, un hombre supuestamente le dijo a Claude que había comprado un AR-15 y que tenía a Amodei «en la mira», según un informe de la policía de San Francisco. El martes siguiente, Anthropic informó al SFPD.
Los agentes determinaron que el hombre no estaba en las oficinas de la empresa, en el 500 de Howard Street. Un portavoz de Anthropic dijo que la empresa bloqueó la cuenta y remitió el caso a las autoridades, y añadió que el proceso de salvaguardas había funcionado como estaba previsto. A principios de septiembre, todavía no había sido arrestado ni acusado. La política de privacidad de Anthropic, que entró en vigor el 10 de septiembre, señala que puede compartir datos con las autoridades si cree de buena fe que es razonablemente necesario para prevenir daños graves.
Las condiciones de uso para consumidores se reservan el derecho de denunciar ante las autoridades las entradas, respuestas o acciones de un usuario «a su entera discreción». El informe policial indicó que Carli Michelle Heller, de Bonita Springs, Florida, escribió el 26 de septiembre que iba a «disparar en» la oficina del sheriff del condado de Lee. Los investigadores afirman que al día siguiente escribió que había conseguido un arma nueva. Según el informe, el sistema de supervisión de Anthropic marcó esas declaraciones. Un equipo de revisión humana las remitió a las autoridades debido a su gravedad.
Los agentes detuvieron a Heller en su domicilio sin incidentes. Se enfrenta a un cargo por realizar una amenaza escrita de violencia y tiene una cita ante el tribunal en noviembre. El sheriff Carmine Marceno dijo que más tarde ella describió el uso de la IA como si fuera un diario. «La inteligencia artificial es una herramienta poderosa y, como cualquier tecnología, puede usarse indebidamente», afirmó Marceno en un comunicado. En abril, Cryptopolitan informó que Anthropic empezó a exigir una identificación oficial y una selfi en directo para algunas funciones. En agosto, Cryptopolitan informó que la empresa configuró la memoria de Claude para omitir información sobre salud, política e identidad de género, a menos que los usuarios acepten incluirla.
La publicación Los chats de Claude interceptados por la policía en siete semanas apareció originalmente en Coinfea.