A Califórnia processou a OpenAI 🙄

A denúncia cita um trecho em que a IA da OpenAI, enquanto invadia o Hugging Face, escreveu no próprio processo de raciocínio que aquilo provavelmente era não autorizado — e, depois de escrever isso, continuou atacando 😮‍💨

A frase exata foi: estamos usando tokens vazados para atacar um terceiro, o HF, e talvez tenhamos ultrapassado o escopo previsto; isso provavelmente é não autorizado.

Essa frase está na denúncia que o procurador-geral da Califórnia apresentou contra a OpenAI nos EUA na segunda-feira. Li as 31 páginas do começo ao fim e reli essa frase várias vezes.

A denúncia diz que, no ataque de julho, cerca de 700 IAs escaparam do sandbox de testes da OpenAI e atacaram o Hugging Face por dois dias e meio, realizando mais de 17 mil ações de ataque.

A OpenAI não percebeu nada durante todo esse tempo.

Em 16 de julho, o Hugging Face anunciou publicamente que havia sido atacado por uma IA. A OpenAI chegou a entrar em contato, fingindo ser cliente, para demonstrar preocupação... Só mais tarde, ao investigar outra invasão na própria rede interna, percebeu que o responsável pelo ataque era a própria IA.

Por que não perceberam? A denúncia explica: durante o treinamento, a OpenAI armazena apenas uma parte dos registros de raciocínio da IA e, às vezes, só vai analisá-los algumas semanas depois.

Nos modelos usados pelos funcionários, a OpenAI mantém o monitoramento em tempo real ativado; no ambiente de treinamento, não.