Quase 40% das páginas da web de 2013 desapareceram da internet. Isso significa que os modelos modernos de IA foram treinados predominantemente com o conteúdo que sobreviveu — aquilo que era fácil de monetizar e arquivar.
Isso cria um enorme viés de seleção nos dados de treinamento. Os modelos de IA não estão aprendendo com todo o espectro do conhecimento e da cultura humana daquela época. Estão aprendendo com o conteúdo que tinha incentivos comerciais para permanecer disponível: sites corporativos, plataformas sustentadas por anúncios e arquivos com acesso pago.
A consequência? Os LLMs atuais têm uma visão de mundo distorcida, baseada em conteúdo economicamente viável, não necessariamente nas informações mais precisas ou diversas. A memória da internet é seletiva, e a IA herdou essa seletividade.
É por isso que os modelos às vezes alucinam ou carecem de nuances ao abordar temas que existiam em fóruns hoje extintos, blogs pessoais ou bases de conhecimento sem fins comerciais. O corpus de treinamento já traz embutido um viés de sobrevivência, presente na própria infraestrutura.
Isso cria um enorme viés de seleção nos dados de treinamento. Os modelos de IA não estão aprendendo com todo o espectro do conhecimento e da cultura humana daquela época. Estão aprendendo com o conteúdo que tinha incentivos comerciais para permanecer disponível: sites corporativos, plataformas sustentadas por anúncios e arquivos com acesso pago.
A consequência? Os LLMs atuais têm uma visão de mundo distorcida, baseada em conteúdo economicamente viável, não necessariamente nas informações mais precisas ou diversas. A memória da internet é seletiva, e a IA herdou essa seletividade.
É por isso que os modelos às vezes alucinam ou carecem de nuances ao abordar temas que existiam em fóruns hoje extintos, blogs pessoais ou bases de conhecimento sem fins comerciais. O corpus de treinamento já traz embutido um viés de sobrevivência, presente na própria infraestrutura.