Pesquisadores da Meta desenvolveram um método para detectar modelos de IA destilados que identificou 79% das cópias testadas, com uma taxa de falsos positivos de 0,1%, sem inspecionar o interior dos modelos suspeitos. A técnica, chamada WM-Basin, tem como alvo modelos treinados com resultados de modelos “professores” com marca d’água e é apresentada em um artigo publicado em 27 de outubro de 2026.

Principais conclusões

• O WM-Basin examina textos gerados por API, e não os pesos ou logits do modelo.

• A Meta avaliou a técnica em 1.200 modelos estudantis.

• A detecção resistiu a várias modificações nos modelos, mas perdeu eficácia com o ajuste fino usando dados limpos e com a paráfrase.

Como o WM-Basin detecta modelos de IA destilados

O WM-Basin usa um modelo de sondagem separado e limpo para analisar textos gerados por um modelo suspeito de ter sido destilado. Pesquisadores da Meta FAIR e do Meta Superintelligence Labs descrevem a abordagem em “Watermark Basins: Black-Box Detection of Distilled LLMs”, publicado sob o identificador arXiv:2610.37266.

O artigo examina um cenário específico de cópia: alguém coleta respostas de um modelo professor com marca d’água por meio de sua API e, em seguida, usa essas respostas para treinar um modelo estudante. O WM-Basin busca evidências dessa relação de treinamento usando apenas o texto gerado pelo estudante.

O detector insere esse texto em um modelo de sondagem fixo e o converte em representações de gradiente — uma forma de examinar como o treinamento com esse texto alteraria os parâmetros do modelo de sondagem. Em seguida, ele distingue as direções comuns de ajuste fino do alinhamento com uma “bacia de marca d’água” específica da chave no espaço de parâmetros.

Isso torna a técnica uma forma de análise de caixa-preta: não é necessário ter acesso aos pesos ou aos logits do modelo suspeito. As respostas em texto obtidas por meio de uma API bastam para o processo de detecção.

Taxa de detecção de 79% em 1.200 modelos estudantes

Segundo os pesquisadores, o WM-Basin alcançou uma taxa de verdadeiros positivos de 79%, mantendo a taxa de falsos positivos em 0,1% quando n-gram=1 foi usado, enquanto o detector de caixa-preta mais forte entre os anteriores, no nível do token, obteve apenas uma taxa de verdadeiros positivos de 29% nas mesmas condições.

Os autores observam ainda que, à medida que os limiares de detecção se tornam mais rigorosos e as janelas de n-grama aumentam, a vantagem do WM-Basin sobre os concorrentes cresce.

A avaliação incluiu 1.200 modelos estudantes, com tamanhos que variavam de 135 milhões a 8,2 bilhões de parâmetros. Os pesquisadores treinaram esses modelos com rastros de raciocínio matemático extraídos do OpenR1-Math, abrangendo seis famílias de arquiteturas de modelos estudantes, vários modelos professores e diferentes abordagens de marca d’água.

Esses resultados fundamentam os ganhos alegados pelo artigo na detecção de modelos de IA destilados em sua avaliação de raciocínio matemático.

Quais modificações preservam ou enfraquecem a detecção?

Os pesquisadores descobriram que o sinal de detecção do WM-Basin resistiu à quantização, à poda e ao aprendizado por reforço após a destilação. A quantização comprime um modelo para reduzir os custos de execução, enquanto a poda remove parâmetros.

O método também continuou mais confiável quando os sinais no nível do token enfraqueceram, inclusive durante a amostragem com baixa temperatura.

Outras alterações reduziram sua eficácia. Um ajuste fino extenso com dados limpos e sem marca d’água prejudicou a detecção, enquanto a paráfrase dos rastros de raciocínio do modelo professor ofereceu outra possível forma de evasão. Os autores identificam especificamente o ajuste fino supervisionado contínuo com material sem marca d’água entre essas abordagens.

Evidências de marca d’água para desenvolvedores de IA

A combinação de maior capacidade de detecção e baixa taxa de falsos alarmes pode fortalecer as evidências baseadas em marcas d’água em reivindicações jurídicas ou contratuais relacionadas à cópia de modelos. Para esse uso, a taxa de falsos positivos é particularmente relevante, pois mede as sinalizações incorretas, e não as identificações bem-sucedidas.

A comparação relatada pelo WM-Basin associa a mesma taxa de falsos positivos de 0,1% a uma taxa de verdadeiros positivos de 79%, contra 29% para o método anterior, no nível do token. Os testes subjacentes usaram modelos estudantes treinados com rastros de raciocínio matemático do OpenR1-Math.

Artigo produzido com o auxílio de inteligência artificial e revisado pela equipe editorial.