Por cerca de US$ 60, um invasor poderia ter inserido dezenas de milhares de imagens maliciosas no LAION-400M, uma das maiores coleções gratuitas de fotos usadas para treinar ferramentas de geração de imagens por IA, segundo um estudo de pesquisadores do Google, da ETH Zurique e de outras instituições.
Principais conclusões
O LAION-400M reúne 400 milhões de imagens acompanhadas de legendas, coletadas na internet aberta, e já foi usado para treinar muitos modelos de geração de imagens por IA
Pesquisadores mostraram que 0,01% do conjunto, cerca de 40.000 pares, poderia ter sido envenenado por US$ 60, porque o conjunto de dados é uma lista de links da internet que qualquer pessoa pode assumir posteriormente
A LAION retirou o seu conjunto de dados maior, o LAION-5B, em 2023, depois de investigadores de Stanford encontrarem ligações para imagens de abuso infantil; em 2024, publicou uma versão limpa
As soluções que funcionam são pouco vistosas: versões fixas dos conjuntos de dados, registos da origem de cada ficheiro e testes que verificam o comportamento de um modelo sem os dados em que menos se confia
O que é o LAION-400M
A LAION é uma organização sem fins lucrativos alemã que cria conjuntos de dados gratuitos para investigação em IA. A sua versão LAION-400M contém 400 milhões de pares de imagem e texto recolhidos do Common Crawl, um arquivo público da Web. Cada par é composto por uma imagem e pelas palavras que apareciam ao lado dela online, como o texto alternativo.
O conjunto de dados não guarda as próprias imagens. Guarda ligações para elas. Quem quiser treinar um modelo volta a transferir as imagens a partir dessas ligações, muitas vezes anos mais tarde. Esta conceção mantém o conjunto de dados pequeno e barato de partilhar, mas também é a sua maior fragilidade.
Como 60 dólares poderiam envenená-lo
Em 2023, uma equipa liderada por Nicholas Carlini, da Google, e que incluía Florian Tramèr, da ETH de Zurique, demonstrou duas formas baratas de envenenar conjuntos de dados gigantescos da Web. Os investigadores descreveram os ataques como «imediatamente viáveis» e disseram que funcionam em 10 conjuntos de dados populares.
O primeiro ataque tira partido do intervalo entre a criação de um conjunto de dados e a sua transferência por alguém. Muitos dos endereços Web no LAION-400M apontam para domínios cuja validade já expirou. Um atacante pode comprar esses domínios e colocar novas imagens nos endereços antigos. A equipa seguinte que transferir o conjunto de dados recebe as imagens do atacante, enquanto as legendas continuam a descrever as originais. Os investigadores estimaram que poderiam ter envenenado 0,01% do LAION-400M ou do conjunto semelhante COYO-700M desta forma, por 60 dólares.
Pode parecer pouco, mas 0,01% de 400 milhões corresponde a cerca de 40 000 pares de imagem e legenda. Estudos anteriores de Carlini e Andreas Terzis mostraram que algumas centenas de exemplos cuidadosamente criados podem bastar para inserir um gatilho oculto num modelo, como um pequeno padrão que o leva a classificar incorretamente qualquer imagem que o contenha.
O segundo ataque visa conjuntos de dados criados a partir de capturas regulares de sites que qualquer pessoa pode editar, como a Wikipédia. Um atacante só precisa de inserir alterações maliciosas pouco antes de ser feita uma captura, mesmo que os moderadores as removam minutos depois.
Os investigadores avisaram os responsáveis pelos conjuntos de dados afetados e sugeriram defesas simples, sobretudo guardar uma impressão digital de cada ficheiro, chamada hash, para que uma imagem alterada possa ser detetada e eliminada.
O problema dos dados incorretos não é apenas teórico
A LAION já teve de retirar um conjunto de dados devido ao conteúdo que ocultava. Em dezembro de 2023, investigadores de Stanford comunicaram que 1 008 ligações no conjunto muito maior LAION-5B apontavam para material conhecido ou suspeito de abuso sexual de menores. A LAION retirou o LAION-5B de circulação, verificou-o com base em listas de organizações de proteção infantil e removeu 2 236 ligações antes de publicar uma versão limpa, o Re-LAION-5B, a 30 de agosto de 2024.
A LAION afirmou que o número de 2 236 é um limite máximo, pois muitas dessas ligações já não funcionavam. Ainda assim, o caso demonstra a mesma fragilidade identificada pelo estudo sobre envenenamento de dados. Quando um conjunto de dados consiste em milhares de milhões de ligações recolhidas por software, ninguém analisou a maior parte do seu conteúdo.
Leia também: a Roblox admite que o bot do seu investigador recolheu dados de um site de arte 3D, mas afirma que os dados nunca foram usados
A IA a aprender com IA agrava o problema
Uma proporção crescente da Web é agora criada por IA, desde imagens geradas a legendas escritas por máquinas. Isso cria um segundo risco. Um estudo de 2024 publicado na revista Nature, da autoria de Ilia Shumailov e colegas, concluiu que os modelos treinados repetidamente com dados criados por modelos anteriores sofrem aquilo a que chamaram «colapso do modelo». Aos poucos, esquecem os casos raros e invulgares dos dados reais e tendem a produzir resultados banais e repetitivos.
Nas ferramentas de imagem, o problema aparece nas legendas. Muitos conjuntos de dados novos usam um modelo de IA para escrever a legenda de cada imagem. Uma legenda fluente ainda pode estar errada sobre quem ou o que aparece na imagem. Se essa legenda se tornar a «resposta» a partir da qual um novo modelo aprende, o erro fica incorporado e é repetido em grande escala.
Onde os processos de treino falham
A maioria dos problemas surge nas passagens entre etapas, não dentro do próprio modelo.
Recolha: uma imagem retirada de uma página perde o artigo que a acompanhava, que poderia dizer que se tratava de sátira, ficção ou uma falsificação
Transferência: ligações que mudaram desde a criação do conjunto de dados podem fornecer imagens diferentes; foi este o ataque descrito pela equipa de Carlini
Rotulagem automática: um modelo de legendagem transforma uma imagem desfocada ou pouco nítida numa frase confiante que um modelo posterior trata como um facto
Treino: os exemplos de confiança e os que não são de confiança costumam contar o mesmo, por isso uma amostra má tem tanto peso como uma boa
Testes: se o conjunto de teste foi criado com as mesmas ferramentas que o conjunto de treino, um modelo pode obter bons resultados copiando os hábitos dessas ferramentas, em vez de melhorar
Que soluções funcionam mesmo
Fixe os dados. Cada execução de treino deve usar uma cópia exata e guardada do conjunto de dados, com um hash para cada ficheiro. Se uma imagem mudar depois da criação do conjunto de dados, o hash deixa de corresponder e o ficheiro é ignorado. Esta é a principal defesa recomendada pelo estudo sobre envenenamento de dados e tem um custo muito baixo.
Mantenha um registo. As equipas devem registar a origem de cada ficheiro, quando foi recolhido, o que lhe foi feito e que modelo escreveu o respetivo rótulo. Se uma amostra problemática surgir mais tarde, poderão identificar todos os modelos que a utilizaram.
Não confie por igual em todos os dados. Os dados verificados por pessoas podem ser separados dos dados em massa recolhidos da Internet e rotulados por máquinas. O treino pode atribuir menos peso ao segundo grupo, e os testes podem mostrar até que ponto um modelo depende dele.
Teste sem a parte arriscada. Uma verificação simples consiste em treinar ou testar um modelo sem os dados em que menos se confia. Se os resultados variarem muito, o modelo depende de dados que ninguém verificou.
Não confie em marcas de água. As marcas ocultas em imagens criadas por IA ajudam em alguns casos, mas o recorte, as capturas de ecrã e a gravação de uma nova cópia podem enfraquecê-las, e muitas ferramentas de imagem de código aberto nem sequer as adicionam. Os registos mantidos desde o início são mais fiáveis do que tentar detetar ficheiros criados por IA posteriormente.
As regras começam a exigir registos
Os reguladores estão a avançar na mesma direção. As regras de transparência da Lei da IA da União Europeia entraram em vigor a 2 de agosto de 2026, exigindo que os fornecedores de sistemas de IA que criam imagens, áudio, vídeo ou texto identifiquem esse conteúdo como criado por IA de forma legível por máquina.
Nos Estados Unidos, o Instituto Nacional de Normas e Tecnologia, ou NIST, publicou em 2024 um perfil para a IA generativa que inclui o envenenamento de dados e a origem pouco clara dos dados entre os riscos que as empresas devem acompanhar. É voluntário, mas oferece às equipas uma lista de verificação para identificarem e registarem a origem dos seus dados.
Nenhuma das regras consegue dizer se uma legenda específica está errada ou se uma imagem específica foi substituída. O que fazem é incentivar as empresas a manter o tipo de registos que permite detetar esses problemas.
Por que não há motivo para pânico
Os dados da Web não vão desaparecer, e há boas razões para isso. Pagar a pessoas para rotular milhares de milhões de imagens, vídeos e gravações de voz é lento e caro. Conjuntos de dados gratuitos como o da LAION são uma das principais razões pelas quais as universidades e os pequenos laboratórios conseguem sequer criar modelos de imagem.
Os dados criados por IA também têm utilizações reais. Podem preencher lacunas com casos raros que quase nunca aparecem online, equilibrar um conjunto de dados desequilibrado ou substituir dados privados que não podem ser partilhados. E, como os conjuntos de dados da LAION são abertos, investigadores externos conseguiram encontrar e comunicar os problemas. Um conjunto de dados fechado poderia ocultar os mesmos problemas durante muito mais tempo.
A ideia não é deixar de usar dados abertos. É deixar de tratar cada imagem recolhida da Internet e cada legenda escrita por uma máquina como se tivessem sido verificadas por uma pessoa.
Leia a seguir: a IA já consegue piratear o Firefox usando as próprias correções de erros da Mozilla
O que acompanhar
O próximo teste é perceber se os novos lançamentos de modelos de IA indicam claramente com que dados foram treinados, que proporção desses dados foi criada ou rotulada por IA e como foram verificados. Será muito mais fácil confiar nos modelos que publicam esses registos e corrigi-los quando algo oculto nos dados de treino vier à luz.