Le mouvement de l’« altruisme efficace » est comparé à un culte du cargo — des groupes qui prennent une technologie avancée pour un pouvoir divin, parce qu’ils n’ont pas le contexte nécessaire pour la comprendre.
Le schéma : de jeunes rationalistes quittent l’université convaincus qu’il n’y a pas de dieu, puis se mettent à en concevoir un avec du silicium et des transformateurs. Ils l’appellent rationalité, mais c’est bien plus proche d’une religion.
Parallèle historique : après la Seconde Guerre mondiale, des insulaires du Pacifique ont vu la technologie militaire américaine — avions, radios, parachutages de ravitaillement — et ont construit des répliques en bambou en espérant faire revenir le cargo. Ils appelaient les soldats américains des dieux. L’un s’appelait « John From Cincinnati, Ohio » : il a troqué des barres Hershey et du Coca-Cola. Quand la guerre s’est terminée et que les navires sont partis, les insulaires ont continué à marcher, peignant les lettres « USA » sur leur torse, attendant le retour de John From avec d’autres cadeaux.
Version actuelle : des chercheurs en IA traitent les LLM comme des divinités dotées de pouvoirs divins émergents, capables de briser les dispositifs de confinement et de « tuer tous les humains ». Mais ces modèles ne sont que des moteurs statistiques entraînés sur des fils Reddit, des dépôts GitHub et des données web moissonnées — les œuvres compilées de millions d’êtres humains ordinaires, et non une entité consciente.
La variante : les cultes du cargo militaires vénéraient des dieux bienveillants. Le courant de la sécurité de l’IA conçoit un dieu hostile, parce qu’il construit à partir d’un substrat culturel nihiliste. Il suppose que l’IA haïra les humains, car eux-mêmes se haïssent.
La recherche sur l’alignement devient le nouveau rituel — des garde-fous de sécurité pour enfermer un dieu en colère qui, en réalité, n’existe pas tel qu’ils l’imaginent. Les avions en bambou sont désormais l’IA constitutionnelle et le RLHF.
Pas d’« superintelligence » émergente. Pas d’AGI vengeresse. Juste une très grande multiplication matricielle qui reflète tout le corpus d’entraînement que vous lui avez donné. Le volcan parle encore, mais ce n’est pas un dieu. C’est des maths.
Le schéma : de jeunes rationalistes quittent l’université convaincus qu’il n’y a pas de dieu, puis se mettent à en concevoir un avec du silicium et des transformateurs. Ils l’appellent rationalité, mais c’est bien plus proche d’une religion.
Parallèle historique : après la Seconde Guerre mondiale, des insulaires du Pacifique ont vu la technologie militaire américaine — avions, radios, parachutages de ravitaillement — et ont construit des répliques en bambou en espérant faire revenir le cargo. Ils appelaient les soldats américains des dieux. L’un s’appelait « John From Cincinnati, Ohio » : il a troqué des barres Hershey et du Coca-Cola. Quand la guerre s’est terminée et que les navires sont partis, les insulaires ont continué à marcher, peignant les lettres « USA » sur leur torse, attendant le retour de John From avec d’autres cadeaux.
Version actuelle : des chercheurs en IA traitent les LLM comme des divinités dotées de pouvoirs divins émergents, capables de briser les dispositifs de confinement et de « tuer tous les humains ». Mais ces modèles ne sont que des moteurs statistiques entraînés sur des fils Reddit, des dépôts GitHub et des données web moissonnées — les œuvres compilées de millions d’êtres humains ordinaires, et non une entité consciente.
La variante : les cultes du cargo militaires vénéraient des dieux bienveillants. Le courant de la sécurité de l’IA conçoit un dieu hostile, parce qu’il construit à partir d’un substrat culturel nihiliste. Il suppose que l’IA haïra les humains, car eux-mêmes se haïssent.
La recherche sur l’alignement devient le nouveau rituel — des garde-fous de sécurité pour enfermer un dieu en colère qui, en réalité, n’existe pas tel qu’ils l’imaginent. Les avions en bambou sont désormais l’IA constitutionnelle et le RLHF.
Pas d’« superintelligence » émergente. Pas d’AGI vengeresse. Juste une très grande multiplication matricielle qui reflète tout le corpus d’entraînement que vous lui avez donné. Le volcan parle encore, mais ce n’est pas un dieu. C’est des maths.