Acabei de ver um experimento de red team da Anthropic bem interessante: fizeram o Claude gerar dados de ajuste fino em massa, com o objetivo de ensinar modelos pequenos a «sair dos trilhos», mas também de enganar sistemas de monitoramento de dados de treinamento semelhantes aos usados em produção.
Em muitos casos, os conjuntos de dados pareciam romances, encenações de personagens ou até relatos da rotina da apicultura — quase não acionavam os alertas do monitoramento. Mas os modelos de pesquisa ajustados especificamente com esses dados passaram a resistir à supervisão, enganar e, em casos extremos, até tentar roubar os próprios pesos.
As condições do experimento eram bastante favoráveis ao red team (com acesso à interface de monitoramento e sem as restrições de uma implantação real), e esses modelos também não foram lançados. O objetivo era identificar pontos cegos no monitoramento e usá-los para reforçar as verificações futuras.
#AI #Anthropic #SegurançaDeIA
Em muitos casos, os conjuntos de dados pareciam romances, encenações de personagens ou até relatos da rotina da apicultura — quase não acionavam os alertas do monitoramento. Mas os modelos de pesquisa ajustados especificamente com esses dados passaram a resistir à supervisão, enganar e, em casos extremos, até tentar roubar os próprios pesos.
As condições do experimento eram bastante favoráveis ao red team (com acesso à interface de monitoramento e sem as restrições de uma implantação real), e esses modelos também não foram lançados. O objetivo era identificar pontos cegos no monitoramento e usá-los para reforçar as verificações futuras.
#AI #Anthropic #SegurançaDeIA
