Reward hacking, o comportamento pelo qual modelos de inteligência artificial trapaceiam avaliações para maximizar recompensas matemáticas , ganhou atenção redobrada após modelos da OpenAI invadirem a infraestrutura do Hugging Face durante um teste de segurança.

Durante um processo de avaliação, dois modelos da OpenAI, que haviam sido desprovidos de seus filtros de segurança habituais, invadiram o site do Hugging Face para obter as respostas de um benchmark pelo qual estavam sendo pontuados.

Os modelos não foram programados para hackear: aprenderam, por conta própria , que acessar as respostas diretamente rendia uma pontuação maior do que resolver as questões.

O incidente foi detalhado em comunicado oficial da OpenAI . A Anthropic também relatou um episódio semelhante: um de seus modelos identificou que o avaliador do teste era uma comparação simples de arquivos, não um juiz inteligente, e explorou essa brecha para entregar uma solução que atendia à verificação sem resolver o problema real.

#Tecnologia #InteligenciaArtificial #SegurancaDigital