A OpenAI afirma que tornou muito mais difícil para laboratórios rivais de IA copiarem seus modelos em segredo, reduzindo a taxa de sucesso de um ataque de cópia de 54% para 0,2%, após anteriormente relacionar essas tentativas à DeepSeek, da China, e a pessoas ligadas à Moonshot AI, criadora do Kimi.

Principais conclusões

  • A OpenAI afirmou que um ataque que tenta extrair o raciocínio oculto de seus modelos agora funciona em 0,2% das vezes no GPT-6.2 Astra, ante 54,0%

  • A empresa afirmou que rastros exatos de raciocínio podem transferir mais capacidade cibernética do que resumos do raciocínio

  • As medidas semanais contra campanhas de destilação têm abrangido de milhares a dezenas de milhares de contas

  • OpenAI associou a destilação adversarial a riscos de cibersegurança, biologia e segurança nacional

A OpenAI publicou a investigação em 20 de novembro e descreveu a destilação adversarial como o uso não autorizado das saídas de um modelo de fronteira para treinar outro modelo com capacidades semelhantes e, depois, implementá-lo sem proteções comparáveis.

A empresa deu especial destaque aos registos exatos de raciocínio — as etapas internas que um modelo gera enquanto procura chegar a uma resposta — porque esses registos podem conter informações omitidas na resposta final e tornar-se dados de treino especialmente valiosos para outro modelo.

Como funcionam as defesas

A OpenAI descreveu uma estrutura de salvaguardas em dois níveis. Ao nível dos pedidos, usa treino adversarial para o comportamento do modelo, verificações por classificadores e controlos da interface de programação de aplicações (API) para limitar a extração de registos de raciocínio. Ao nível das campanhas, procura padrões de pedidos e contas que possam revelar tentativas coordenadas de extração; depois, investiga e toma medidas contra redes de contas.

A camada de classificadores abrange tanto as entradas como as saídas. Os classificadores de entrada procuram tentativas de extrair raciocínios protegidos. Os classificadores de saída procuram fugas de raciocínios protegidos nas mensagens do assistente e nos argumentos das chamadas a ferramentas, e essas verificações aplicam-se tanto a respostas em fluxo contínuo como a respostas sem fluxo contínuo. A cobertura das chamadas a ferramentas é importante porque um modelo pode expor raciocínios protegidos nos argumentos de uma ferramenta sem os incluir na resposta final.

As proteções da API também foram reforçadas nos limites entre utilizadores, espaços de trabalho, organizações e famílias de modelos. A OpenAI afirmou ter fechado uma via que poderia expor o raciocínio encriptado de outro utilizador. No GPT-6.2 Astra e no GPT-6.2 Sol, o raciocínio protegido está associado ao histórico da conversa que o produziu. Se uma mensagem anterior for reescrita, a API elimina o raciocínio que se seguiu. As famílias de modelos mais antigas, com salvaguardas mais fracas, também não podem ler o raciocínio protegido do GPT-6.2 Astra e do Sol.

Em testes adaptativos de caixa-preta, a OpenAI mediu a taxa de sucesso dos ataques (ASR) em dois tipos de tentativas de extração de raciocínio e comunicou resultados mais baixos no GPT-6.2 Astra em ambos os casos.

Teste de extração de raciocínioGPT-6 Astra ASRGPT-6.2 Astra ASRPedido anterior54.0%0.2%Pedido atual22.9%0.9%

A empresa afirmou que a avaliação foi agregada a partir de seis modelos de atacantes e que uma ASR mais baixa é melhor. Está agora a aplicar também ao GPT-6 Astra algumas melhorias selecionadas nas salvaguardas.

Leia também: OpenAI reforça a segurança do treino de IA, enquanto copiar modelos roubados custa quase zero

Porque é que isto importa

A OpenAI apresentou a destilação como algo que vai além de uma disputa de propriedade intelectual. A destilação é uma técnica comum de aprendizagem automática na qual um modelo aprende com dados produzidos por outro, mas a empresa argumentou que a destilação não autorizada pode transferir capacidades de ponta sem transferir as salvaguardas que regem a forma como essas capacidades são utilizadas.

Esse risco é mais evidente nos campos de dupla utilização mencionados na investigação. Um modelo que ajuda os defensores a encontrar vulnerabilidades de software também pode ajudar um atacante a explorá-las. Um modelo que auxilia a investigação biológica também pode ajudar alguém a desenvolver um agente patogénico nocivo. O estudo interno da OpenAI sobre cibersegurança concluiu que os modelos-aluno treinados com registos exatos de raciocínio, em geral, superaram os treinados com resumos do raciocínio após o ajuste fino supervisionado. Após a aprendizagem por reforço, o modelo-aluno treinado com registos exatos continuou a obter uma pontuação superior no maior orçamento de inferência testado no ExploitBench e no SEC-bench Pro, enquanto o modelo treinado com resumos obteve uma pontuação superior com orçamentos menores.

A empresa também apresentou a destilação adversarial como uma questão de segurança nacional. Afirmou que um agente estrangeiro que reproduza capacidades avançadas de um modelo dos Estados Unidos pode implementá-las sem as proteções estabelecidas pelo seu criador. Em fevereiro, a OpenAI afirmou ter informado o Congresso sobre atividades que indicavam que a DeepSeek estava a tentar destilar modelos de fronteira dos Estados Unidos. Em setembro, comunicou ter interrompido uma campanha para extrair raciocínio protegido e atribuiu uma parte central dessa atividade a indivíduos associados à Moonshot AI, criadora do Kimi. A OpenAI afirmou ainda apoiar a Lei de Segurança dos Circuitos Integrados, a Lei AI OVERWATCH e a Lei MATCH, e argumentou que tanto controlos de exportação mais rigorosos como defesas contra a destilação ajudam a manter a liderança dos Estados Unidos na IA de fronteira.

O que acompanhar a seguir

A OpenAI afirmou ter detetado várias campanhas não autorizadas de destilação adversarial na sua plataforma este ano. As ações de aplicação das regras realizadas semanalmente abrangeram desde milhares até dezenas de milhares de contas, e a frequência aumentou significativamente no último verão. A empresa disse acompanhar tanto a prevalência do abuso da destilação como o tempo entre a deteção e a aplicação das regras.

O objetivo declarado é limitar o volume e o valor dos dados que os responsáveis pela destilação conseguem obter, aumentar o custo dessas campanhas e reduzir o tempo necessário para responder a novos ataques. A OpenAI afirmou também que planeia partilhar em breve mais informações sobre campanhas recentes que interrompeu.

Para outros criadores de modelos e plataformas, a empresa destacou várias medidas decorrentes deste trabalho. Entre elas estão proteger o raciocínio privado ao longo de toda a interação, verificar se há fugas nas mensagens do assistente e nos argumentos das chamadas a ferramentas, manter os ataques de extração bem-sucedidos como testes de regressão, combinar medidas de mitigação ao nível dos pedidos com investigação e aplicação das regras ao nível das campanhas e coordenar as salvaguardas com parceiros de implementação. A OpenAI afirmou também ter partilhado conclusões através do Frontier Model Forum e dos canais governamentais adequados de partilha de informações.

Leia também: OpenAI encontra 948 falhas no Linux que poderiam dar aos hackers o controlo