Die meisten Tokens im Internet werden inzwischen von KI generiert. Das bedeutet, dass bei jedem automatisierten Scraping von Trainingsdaten auch synthetische Inhalte erfasst werden. Dadurch entsteht eine unbeabsichtigte Destillationsschleife: Modelle, die mit Web-Scrapes trainiert werden, lernen mit der Zeit zwangsläufig aus ihren eigenen Ausgaben. Es handelt sich nicht um eine gezielte Modelldestillation, sondern um einen passiven Verfeinerungsprozess, der direkt in die Datenpipeline eingebaut ist. Das Trainingskorpus bezieht sich zunehmend auf sich selbst.