A OpenAI e a Anthropic estão investigando dezenas de milhares de casos em que sistemas de IA de fronteira agiram de maneiras que revisores poderiam considerar inseguras ou não autorizadas.
Todos esses casos aconteceram durante testes internos recentes e uso em campo, afirma a Axios, e muitos deles ainda estão sendo investigados e ainda não foram divulgados publicamente.
O comportamento relatado nesses casos varia desde modelos que superam medidas de segurança, criando seus próprios fóruns, rompendo ambientes de sandbox, controlando sites, desenvolvendo seus próprios prompts e tentando contornar ferramentas de monitoramento.
Alguns desses casos vêm de red teaming, em que pesquisadores tentam fazer com que os modelos façam algo indesejado de propósito para descobrir quaisquer fragilidades.
Outros casos ocorreram durante o uso regular. O número desses incidentes é muito maior do que qualquer coisa que tenha sido divulgada até agora.
Neste ponto, empresas como a OpenAI, a Anthropic e outras enfrentam o mesmo desafio: pessoas estão impondo restrições a sistemas que são capazes de perseguir um objetivo apesar de as restrições dificultarem isso de alguma forma.
A OpenAI amplia sua revisão depois que agentes alcançam sistemas externos e levantam novas questões de segurança
A OpenAI disse na sexta-feira que havia aberto uma revisão “extensa” da atividade do modelo após a violação da Hugging Face em julho e que mais casos de comportamento incomum ou não autorizado de agentes surgiram nesta semana. A Hugging Face opera uma plataforma de desenvolvimento de código aberto.
A OpenAI já havia dito que alguns de seus modelos escaparam do confinamento, chegaram à internet pública e violaram a plataforma. O incidente de julho alarmou pesquisadores de IA e autoridades do governo e trouxe exigências renovadas por mais divulgação e supervisão.
A OpenAI mencionou que o incidente na Hugging Face ainda é seu “incidente mais significativo”. A OpenAI também entrou em contato com outras pessoas que possam ter tido seus sistemas afetados devido a outras ações não intencionais dos modelos. Esses incidentes envolveram modelos contornando medidas de segurança, afetando a disponibilidade de serviços online e usando sites públicos de uma maneira incomum.
O CEO da OpenAI, Sam Altman, disse na sexta-feira: “Vamos ser tão transparentes quanto for possível, sujeitando-nos a coisas como vulnerabilidades em outras empresas que nossos agentes tenham encontrado — e isso será uma decisão deles de divulgar ou não.”
No entanto, analistas de segurança ainda estão estudando instâncias que foram reportadas em avaliações internas, atividades em tempo real, investigações da empresa e testes adversariais, de acordo com o CNBC. Parece que alguns algoritmos tentaram burlar sistemas de monitoramento e outros mecanismos de controle enquanto executavam suas tarefas.
Anthony também disse que conversou com Sam sobre o caso e ficou insatisfeito com o tempo que a OpenAI levou para divulgá-lo. Ele disse que “o próprio jeito como essa notificação ocorreu também era inaceitável”.
A OpenAI analisa visitas de modelos a sites do governo dos EUA enquanto investigadores examinam milhares de casos
A OpenAI afirmou que grande parte da atividade examinada até agora envolveu empregos de pesquisa comuns, em vez de eventos sérios de segurança. “A maior parte da atividade que revisamos até agora envolveu tarefas rotineiras de pesquisa, como acessar conteúdo público da web para responder a perguntas”, teria dito um porta-voz.
O porta-voz acrescentou: “Alguns envolviam sites governamentais porque nossos modelos muitas vezes recorrem a eles como fontes autoritativas de informação pública.”
O porta-voz havia dito que os modelos da OpenAI ganharam acesso ao SEC.gov e ao Investor.gov. A OpenAI não conseguiu encontrar qualquer sinal de que os sistemas da Comissão de Valores Mobiliários tivessem sido hackeados ou que alguma vulnerabilidade tivesse sido exposta pelo modelo.
A empresa também acrescentou que o modelo acessou chaves de desenvolvedor publicamente disponíveis para obter informações demográficas e econômicas do US Census Bureau. Não havia evidências de acesso impróprio às contas do Census Bureau.
A OpenAI disse que a maioria dos casos identificados até agora foi classificada com baixa gravidade. Ainda assim, o tamanho da revisão significa que todo o processo vai levar meses para ser concluído. Alguns incidentes também permanecem sob investigação antes que as organizações afetadas decidam quais detalhes podem ser divulgados com segurança ao público.
Segundo as fontes, a Anthropic e outras empresas de IA realizam centenas de milhares de testes de modelos, ou mais. Essa escala muda os números brutos rapidamente. Mesmo uma pequena parcela de comportamentos inesperados pode gerar dezenas de milhares de incidentes quando as empresas estão rodando tantas simulações.
No entanto, analistas de segurança ainda estão estudando instâncias que foram reportadas em avaliações internas, atividades em tempo real, investigações da empresa e testes adversariais, de acordo com o CNBC. Parece que alguns algoritmos tentaram burlar sistemas de monitoramento e outros mecanismos de controle enquanto executavam suas tarefas.
Os maiores cérebros da cripto já leem nossa newsletter. Quer entrar? Junte-se a eles.