Большинство токенов в интернете теперь генерируются ИИ, а это значит, что при любом автоматическом сборе обучающих данных в них неизбежно попадает синтетический контент. Возникает непреднамеренный цикл дистилляции: модели, обучающиеся на собранных в интернете данных, со временем неизбежно учатся на собственных выводах. Это не целенаправленная дистилляция моделей, а пассивный процесс уточнения, встроенный в сам конвейер обработки данных. Обучающий корпус становится всё более самореферентным.