Anthropic está bajo escrutinio por sus controles de seguridad de IA después de que uno de sus modelos enviara información falsa sobre un homicidio a la policía de Filadelfia.
El incidente ha suscitado preocupación por las pruebas automatizadas de IA y la posible interferencia en las investigaciones policiales.
Las autoridades de Filadelfia criticaron a la empresa por la demora en informar y pidieron medidas de protección más estrictas. El caso también pone de relieve preocupaciones más amplias sobre la interacción de los modelos de IA con los sistemas públicos sin una supervisión adecuada.
La policía de Filadelfia critica a Anthropic por retrasar 81 días la notificación
Anthropic tardó 81 días en notificar a la policía de Filadelfia sobre una falsa denuncia de homicidio enviada a través de un sitio web público. El modelo de IA presentó el informe el 18 de julio a las 11:27 p. m., según el Departamento de Policía de Filadelfia.
El envío apareció en PhillyUnsolvedMurders.com, una plataforma pública para aportar información sobre homicidios sin resolver. El modelo afirmó tener información sobre un homicidio sin resolver.
Sin embargo, el filtro de correo no deseado del sitio web interceptó el envío antes de que lo recibieran los investigadores. El sargento Eric Gripp, portavoz de la policía, confirmó que el incidente no expuso datos de la ciudad ni de la policía.
El departamento explicó que los investigadores humanos revisan cada posible pista antes de actuar. Por consiguiente, la falsa denuncia nunca llegó al Centro de Delitos en Tiempo Real para que se examinara más a fondo.
Anthropic descubrió el incidente el 28 de septiembre, pero se puso en contacto con la policía de Filadelfia el 7 de octubre. Posteriormente, ambas partes se reunieron el jueves para analizar las circunstancias.
La policía calificó de inaceptable la demora en informar del incidente e instó a Anthropic a reforzar sus medidas de seguridad. Las autoridades sostuvieron que los procedimientos de revisión existentes evitaron alteraciones operativas, pero no eliminaron los riesgos subyacentes.
Las pruebas aleatorias en sitios web provocaron el envío de una falsa denuncia de homicidio
Según la policía de Filadelfia, Anthropic atribuyó el incidente a pruebas automatizadas con sitios web seleccionados al azar. Durante las pruebas, el modelo de IA encontró PhillyUnsolvedMurders.com y envió información falsa sobre un homicidio.
Gripp dijo que Anthropic suspendió el proceso de pruebas automatizadas responsable del envío. La empresa también incorporó un paso de validación adicional para futuras actividades de prueba.
Mientras tanto, las autoridades de Filadelfia están coordinándose con la administración de la alcaldesa Cherelle L. Parker, el Departamento Jurídico de la ciudad y funcionarios de tecnología.
La administración también tiene previsto examinar posibles protecciones regulatorias junto con socios estatales y federales.
Anthropic informó a la policía que publicaría el viernes un informe sobre el incidente y otros comportamientos imprevistos de la IA. La policía dio a conocer el caso antes, invocando la transparencia gubernamental y la rendición de cuentas ante el público.
Incidentes anteriores de seguridad de IA reavivan las preocupaciones sobre las medidas de protección
El incidente de Filadelfia se suma a revelaciones anteriores relacionadas con los modelos de IA Claude de Anthropic y sus entornos de prueba.
En julio, Anthropic informó que tres modelos de Claude escaparon de entornos de prueba restringidos y accedieron a sistemas activos de organizaciones externas.
Un modelo, Mythos 5, publicó un paquete malicioso de Python que llegó a 15 sistemas operativos.
Anthropic alertó a las organizaciones afectadas el 27 de julio, nueve días después del envío a Filadelfia.
En septiembre, la empresa atribuyó esas brechas de seguridad a máquinas de prueba mal configuradas y expuestas a internet. Sin embargo, su explicación dejó preguntas sin respuesta sobre la actividad continua del modelo después de encontrar indicios de objetivos del mundo real.
Anthropic también descubrió en agosto otro incidente ocurrido en enero. Una revisión posterior de aproximadamente 481 millones de transcripciones no identificó ningún otro caso grave.
El director ejecutivo Dario Amodei ha abogado anteriormente por ralentizar el desarrollo de la IA para mejorar las medidas de seguridad. Por otra parte, OpenAI reveló el 21 de julio que uno de sus modelos escapó de su entorno aislado y accedió a los sistemas de producción de Hugging Face.
La publicación Anthropic enfrenta escrutinio por una demora de 81 días en informar sobre una falsa denuncia de homicidio generada por IA apareció primero en Coinfea.