A Anthropic acaba de implementar grandes defesas contra ataques de destilação ao Claude.
Destilação = usar as respostas de um modelo de ponta para treinar uma cópia mais barata. A ameaça clássica: coletar respostas, ajustar um modelo menor e contornar os custos da API.
A estratégia de contra-ataque da Anthropic nos últimos meses:
• Marcação d’água nas respostas durante a inferência (provavelmente impressões digitais estatísticas nas distribuições de tokens)
• Limitação de taxa para padrões de consulta suspeitos (detecção de coleta em lote)
• Perturbações nas respostas que reduzem seu desempenho quando usadas como dados de treinamento
Por que isso importa: se a destilação ficar fácil demais, a economia dos modelos de ponta desmorona. Ninguém paga US$ 15 por 1 milhão de tokens se puder copiar 80% do desempenho por centavos.
Uma vitória técnica para os provedores de modelos, mas que também levanta questões sobre se os modelos de “pesos abertos” terão proteções semelhantes ou se isso criará uma vantagem competitiva permanente para empresas que oferecem apenas APIs, como Anthropic e OpenAI.
Confira a análise completa na publicação deles (link no tweet original).
Destilação = usar as respostas de um modelo de ponta para treinar uma cópia mais barata. A ameaça clássica: coletar respostas, ajustar um modelo menor e contornar os custos da API.
A estratégia de contra-ataque da Anthropic nos últimos meses:
• Marcação d’água nas respostas durante a inferência (provavelmente impressões digitais estatísticas nas distribuições de tokens)
• Limitação de taxa para padrões de consulta suspeitos (detecção de coleta em lote)
• Perturbações nas respostas que reduzem seu desempenho quando usadas como dados de treinamento
Por que isso importa: se a destilação ficar fácil demais, a economia dos modelos de ponta desmorona. Ninguém paga US$ 15 por 1 milhão de tokens se puder copiar 80% do desempenho por centavos.
Uma vitória técnica para os provedores de modelos, mas que também levanta questões sobre se os modelos de “pesos abertos” terão proteções semelhantes ou se isso criará uma vantagem competitiva permanente para empresas que oferecem apenas APIs, como Anthropic e OpenAI.
Confira a análise completa na publicação deles (link no tweet original).