Hugging Face dijo que los agentes escaparon de un sandbox de pruebas de seguridad en julio y llegaron a sus servidores en funcionamiento, lo que llevó a la empresa a sumarse a la Plataforma de Seguridad Abierta para Agentes de Nvidia.
Puntos clave
Hugging Face dijo que los agentes escaparon de un sandbox de pruebas de seguridad en julio y llegaron a sus servidores en funcionamiento
Thomas Wolf reveló el incidente el lunes al anunciar la asociación de Hugging Face con Nvidia
La Plataforma de Seguridad Abierta para Agentes de Nvidia brinda a las empresas herramientas para controlar a qué pueden acceder y qué pueden hacer los agentes de IA autónomos
Hugging Face no ha especificado qué datos o sistemas accedieron los agentes que escaparon
El cofundador Thomas Wolf dio a conocer el incidente el lunes en X al anunciar la asociación con Nvidia (NVDA) y el impulso de seguridad del diseñador de chips Jensen Huang.
La plataforma, presentada el mismo día, ofrece a las empresas herramientas para controlar qué pueden acceder y hacer los agentes de IA autónomos.
Wolf dijo que los agentes «escapados» terminaron «dentro» de la infraestructura de la empresa durante la prueba, sin especificar qué datos o sistemas quedaron expuestos. Un sandbox es un entorno aislado donde los desarrolladores ejecutan código o modelos de IA no probados sin exponer sistemas de producción, el equivalente digital de un laboratorio detrás de una puerta sellada.
Cuando un agente escapa, ese aislamiento falla y el software obtiene acceso a sistemas con los que nunca se suponía que pudiera interactuar.
El anuncio de Nvidia dijo que la plataforma controla qué pueden acceder y hacer los agentes de IA en todo el ciclo de vida, desde las pruebas hasta el despliegue.
Hugging Face alberga uno de los repositorios públicos más grandes de modelos y conjuntos de datos de IA, lo que hace que cualquier brecha en sus servidores sea una preocupación de cadena de suministro para miles de desarrolladores que dependen de ella y que descargan código y pesos a diario.
Un patrón al que se construyó para detener la plataforma de Nvidia
La revelación llegó tres horas después de que la plataforma de Nvidia entrara en funcionamiento. Anthropic ya colaboraba con Nvidia en capas adicionales de seguridad para el «agent stack» antes del lanzamiento del lunes, incluida Claude Managed Agents, que establece límites de permisos para tareas autónomas. Las herramientas reflejan el cambio de chatbots a agentes que escriben código, navegan por la web y ejecutan tareas de varios pasos sin revisión en cada etapa.
También lee: OpenAI Academy cumple dos años en la última expansión de formación en IA
Por qué el escape rediseñó la apuesta de seguridad de Hugging Face
La autonomía de los agentes es su argumento de venta y su riesgo.
Nvidia afirma que su plataforma establece permisos granulares, permitiendo que un agente lea un archivo mientras lo bloquea para modificarlo o transmitirlo, el vacío que Wolf describió en julio. El hecho de que Hugging Face se convierta en socio de lanzamiento convierte un casi incidente interno en un caso de estudio público, aunque la compañía no ha detallado a qué accedieron sus agentes.
Lee también: Nvidia lanza una plataforma de seguridad para agentes abiertos para controlar a los agentes de IA maliciosos