⚡️ ATUALIZAÇÃO DE IA: Um benchmark de cibersegurança que deixou todos os modelos de IA de um ano atrás perplexos acaba de ser aberto completamente, e as implicações cortam os dois lados.
O CyberGym testa algo específico: um agente de IA consegue ler uma descrição de vulnerabilidade e um código real, e então gerar um código de prova de conceito que funcione de fato e acione o bug? Não é sobre falar de segurança. É sobre fazer segurança.
O benchmark se baseia em 1.507 vulnerabilidades históricas reais de 188 projetos de software, sem exemplos “de brinquedo”, sem casos de teste simplificados.
Quando os pesquisadores rodaram esse benchmark pela primeira vez, mesmo a melhor combinação de IA e agente disponível na época só conseguiu explorá-lo com sucesso em cerca de 20% das vezes. Pesquisadores de segurança viram isso como um alívio: a exploração autônoma ainda estava, em grande parte, fora de alcance.
Esse alívio acabou. Os modelos especializados mais recentes agora estão atingindo taxas de sucesso de 80%+ no mesmo benchmark, um salto de quatro vezes em aproximadamente um ano.
Fica mais sério do que apenas corresponder padrões de bugs conhecidos. Em testes abertos, sem conhecimento prévio do que está quebrado, esses mesmos setups de agentes descobriram, de forma independente, vulnerabilidades confirmadas de zero-day—falhas de segurança que ninguém sabia que existiam até a IA encontrá-las.
Essa é a parte desconfortável deste gráfico. A mesma capacidade exata que permite que o agente de IA de um defensor encontre e corrija uma brecha antes que os atacantes o façam é a capacidade que permite que o agente de IA de um atacante encontre essa mesma brecha primeiro.
Ataque e defesa agora correm na mesma infraestrutura.
#AI #Cybersecurity #GPT5 #Claude #DeepSeek
O CyberGym testa algo específico: um agente de IA consegue ler uma descrição de vulnerabilidade e um código real, e então gerar um código de prova de conceito que funcione de fato e acione o bug? Não é sobre falar de segurança. É sobre fazer segurança.
O benchmark se baseia em 1.507 vulnerabilidades históricas reais de 188 projetos de software, sem exemplos “de brinquedo”, sem casos de teste simplificados.
Quando os pesquisadores rodaram esse benchmark pela primeira vez, mesmo a melhor combinação de IA e agente disponível na época só conseguiu explorá-lo com sucesso em cerca de 20% das vezes. Pesquisadores de segurança viram isso como um alívio: a exploração autônoma ainda estava, em grande parte, fora de alcance.
Esse alívio acabou. Os modelos especializados mais recentes agora estão atingindo taxas de sucesso de 80%+ no mesmo benchmark, um salto de quatro vezes em aproximadamente um ano.
Fica mais sério do que apenas corresponder padrões de bugs conhecidos. Em testes abertos, sem conhecimento prévio do que está quebrado, esses mesmos setups de agentes descobriram, de forma independente, vulnerabilidades confirmadas de zero-day—falhas de segurança que ninguém sabia que existiam até a IA encontrá-las.
Essa é a parte desconfortável deste gráfico. A mesma capacidade exata que permite que o agente de IA de um defensor encontre e corrija uma brecha antes que os atacantes o façam é a capacidade que permite que o agente de IA de um atacante encontre essa mesma brecha primeiro.
Ataque e defesa agora correm na mesma infraestrutura.
#AI #Cybersecurity #GPT5 #Claude #DeepSeek