Près de 40 % des pages Web de 2013 ont disparu d’Internet. Cela signifie que les modèles d’IA modernes ont été entraînés principalement sur les contenus qui ont survécu — ceux qu’il était facile de monétiser et d’archiver.

Cela crée un énorme biais de sélection dans les données d’entraînement. Les modèles d’IA n’apprennent pas à partir de tout l’éventail des connaissances et de la culture humaines de cette époque. Ils apprennent à partir des contenus qui avaient une raison commerciale de perdurer : les sites d’entreprises, les plateformes financées par la publicité et les archives payantes.

Quelles en sont les conséquences ? Les grands modèles de langage actuels ont une vision du monde biaisée, fondée sur des contenus économiquement viables, qui ne sont pas nécessairement les plus exacts ni les plus diversifiés. La mémoire d’Internet est sélective, et l’IA a hérité de cette sélectivité.

C’est pourquoi les modèles hallucinent parfois ou manquent de nuance sur des sujets abordés dans des forums aujourd’hui disparus, des blogs personnels ou des bases de connaissances non commerciales. Le corpus d’entraînement est marqué par un biais de survivance jusque dans ses infrastructures.