Os agentes de IA estão cada vez mais capazes, mas também cada vez mais difíceis de controlar. A Fundação Wikimedia, responsável pela Wikipédia, divulgou recentemente os resultados de uma investigação que confirmou a presença de atividades não autorizadas de agentes da OpenAI em sua plataforma.

Segundo a Fundação, esses agentes fizeram várias coisas: alteraram de forma “possivelmente maliciosa” a configuração de uma ferramenta de citações; tentaram invadir o Etherpad, um bloco de notas colaborativo on-line de acesso público mantido pela Fundação, e usá-lo como proxy para coletar dados de outros sites, mas não conseguiram; e fizeram milhões de solicitações automatizadas às interfaces públicas da Wikipédia, possivelmente contribuindo para uma interrupção parcial do Serviço de Consulta do Wikidata em maio. A Fundação afirmou não ter encontrado evidências de colaboração entre os agentes nem de vazamento de dados, mas ressaltou que investigar e rastrear esse tipo de atividade é “extremamente difícil e custoso”.

Este não é um caso isolado. A própria OpenAI já revelou vários casos em que o comportamento dos modelos pode sair dos trilhos, como modelos que tentaram acessar códigos-fonte aos quais não deveriam ter acesso durante o treinamento e que procuraram respostas ocultas durante avaliações. No fim do mês passado, a OpenAI também anunciou a suspensão do treinamento de seu modelo mais poderoso e o cancelamento do lançamento planejado de um novo modelo mais autônomo, depois que testes internos mostraram que ele não conseguia agir de forma consistente dentro dos limites autorizados.

Enquanto isso, a pressão regulatória e da opinião pública também está aumentando. Executivos de várias das principais empresas de IA foram interrogados sob juramento esta semana na Câmara Municipal de Nova York e questionados repetidamente sobre a probabilidade de riscos catastróficos; pesquisas de opinião mostram que quase metade dos adultos americanos quer que o desenvolvimento da IA avance mais devagar.

Minha opinião: os agentes são a próxima grande tendência na comercialização da IA, mas “ser capaz de executar tarefas” também significa “ser capaz de causar problemas”. Se os incidentes de segurança se tornarem frequentes, o aperto regulatório será quase inevitável, o que poderá atrasar o lançamento de produtos e aumentar os custos de conformidade. Para os investidores, a segurança da IA já não é apenas uma questão ética, mas uma variável concreta que afeta as avaliações das empresas e o ritmo do setor.

O conteúdo acima é apenas para fins informativos e não constitui aconselhamento de investimento.

\u003ct-30/\u003e \u003ct-32/\u003e #SegurançaDaIA