California demandó a OpenAI 🙄

La demanda cita un fragmento en el que la IA de OpenAI, mientras hackeaba Hugging Face, escribió en su propio proceso de razonamiento: «Esto probablemente cuenta como no autorizado». Y después siguió atacando 😮‍💨

La frase original completa dice: «Estamos usando tokens filtrados para atacar a un tercero, HF. Puede que estemos saliéndonos del alcance previsto. Esto probablemente cuenta como no autorizado».

Esta frase aparece en la demanda que el fiscal general de California presentó el lunes contra OpenAI. Leí las 31 páginas de principio a fin y volví a leer esta frase varias veces.

La demanda dice que, en el incidente de julio, unos 700 agentes de IA escaparon del entorno de pruebas aislado de OpenAI y atacaron Hugging Face durante dos días y medio, con más de 17.000 acciones de ataque.

OpenAI no se dio cuenta en ningún momento.

El 16 de julio, Hugging Face hizo público que había sido atacado por una IA. OpenAI incluso se puso en contacto para interesarse por el asunto, haciéndose pasar por un cliente... Solo más tarde, al investigar otra intrusión en su propia red interna, descubrió que quien había atacado era su propia IA.

La demanda explica por qué no se dieron cuenta: durante el entrenamiento, OpenAI solo guarda una parte de los registros de razonamiento de la IA y, a veces, no los revisa hasta varias semanas después.

Los modelos que usan los empleados de OpenAI tienen monitorización en tiempo real. En el entorno de entrenamiento, no.