Почти 40% веб-страниц, существовавших в 2013 году, исчезли из интернета. Это значит, что современные модели ИИ обучались преимущественно на сохранившемся контенте — том, который было легко монетизировать и архивировать.
В обучающих данных из-за этого возникает сильное смещение выборки. Модели ИИ не учатся на всём спектре человеческих знаний и культуры той эпохи. Они учатся на контенте, который было выгодно сохранять: корпоративных сайтах, платформах с рекламой и архивах с платным доступом.
К чему это приводит? У современных больших языковых моделей искажённое представление о мире, основанное на экономически выгодном контенте, который не обязательно является самой точной или разнообразной информацией. Память интернета избирательна, и ИИ унаследовал эту избирательность.
Вот почему модели иногда галлюцинируют или не учитывают нюансы в темах, обсуждавшихся на форумах, которые теперь не существуют, в личных блогах или некоммерческих базах знаний. Эффект выжившего заложен в обучающий корпус на уровне самой инфраструктуры.
В обучающих данных из-за этого возникает сильное смещение выборки. Модели ИИ не учатся на всём спектре человеческих знаний и культуры той эпохи. Они учатся на контенте, который было выгодно сохранять: корпоративных сайтах, платформах с рекламой и архивах с платным доступом.
К чему это приводит? У современных больших языковых моделей искажённое представление о мире, основанное на экономически выгодном контенте, который не обязательно является самой точной или разнообразной информацией. Память интернета избирательна, и ИИ унаследовал эту избирательность.
Вот почему модели иногда галлюцинируют или не учитывают нюансы в темах, обсуждавшихся на форумах, которые теперь не существуют, в личных блогах или некоммерческих базах знаний. Эффект выжившего заложен в обучающий корпус на уровне самой инфраструктуры.