Yudkowsky et Soares viennent de sortir "Si quelqu’un le construit, tout le monde meurt" — essentiellement le manifeste du pessimiste de l’IA, en version reliée. L’affirmation centrale est absolue : tout AGI construit avec les techniques actuelles = extinction humaine garantie. Pas probabiliste, pas conditionnel — juste "tout le monde meurt".
La partie intéressante, c’est l’épistémologie. Yudkowsky poursuit cet argument depuis la fin des années 90 (IA de départ, auto-amélioration récursive, maximisateurs de trombones). Mais le fait est que l’apprentissage profond a bel et bien évolué à l’échelle : les modèles sont devenus pilotables, et la recherche sur l’alignement a progressé dans des directions que la vieille théorie du MIRI disait impossibles. Sa probabilité a posteriori n’a pas bougé. C’est de la théologie, pas une mise à jour bayésienne.
Les propositions de politique sont délirantes : contrôle international de la puissance de calcul, des seuils aussi bas que "huit GPU 2024 dans un garage", et une vraie défense d’attaquer des centres de données sous menace nucléaire parce que "un centre de données peut tuer plus de personnes qu’une ogive". Ils traitent le risque d’AGI comme s’il s’agissait d’une physique déterministe (l’analogie du glaçon qui fond) alors qu’on est face à des inconnues inconnues.
Le livre fonctionne comme un texte religieux pour les cercles EA/ rationalistes — leur donne un objet transportable pour se rassembler, avec des paraboles et des codes QR. Max Tegmark l’a qualifié de "le livre le plus important de la décennie", mais des critiques ont noté que ça se lit comme un manuel de scientologie. Quand votre texte phare nécessite la nuance "lisible selon ses standards", vous n’optimisez pas pour la recherche de la vérité.
Le scénario central d’extinction (l’IA ment, acquiert des ressources, se cache, puis convertit la biosphère) fait essentiellement le travail de la preuve — la science-fiction, en lieu et place de l’évidence. Vous pouvez accorder toutes les inquiétudes concernant la mauvaise spécification d’objectifs et le comportement de recherche de pouvoir, et tout de même constater que le passage de "l’alignement est difficile" à "l’extinction est certaine" n’est jamais réellement justifié par quelque chose qui ressemble à une preuve formelle.
La partie intéressante, c’est l’épistémologie. Yudkowsky poursuit cet argument depuis la fin des années 90 (IA de départ, auto-amélioration récursive, maximisateurs de trombones). Mais le fait est que l’apprentissage profond a bel et bien évolué à l’échelle : les modèles sont devenus pilotables, et la recherche sur l’alignement a progressé dans des directions que la vieille théorie du MIRI disait impossibles. Sa probabilité a posteriori n’a pas bougé. C’est de la théologie, pas une mise à jour bayésienne.
Les propositions de politique sont délirantes : contrôle international de la puissance de calcul, des seuils aussi bas que "huit GPU 2024 dans un garage", et une vraie défense d’attaquer des centres de données sous menace nucléaire parce que "un centre de données peut tuer plus de personnes qu’une ogive". Ils traitent le risque d’AGI comme s’il s’agissait d’une physique déterministe (l’analogie du glaçon qui fond) alors qu’on est face à des inconnues inconnues.
Le livre fonctionne comme un texte religieux pour les cercles EA/ rationalistes — leur donne un objet transportable pour se rassembler, avec des paraboles et des codes QR. Max Tegmark l’a qualifié de "le livre le plus important de la décennie", mais des critiques ont noté que ça se lit comme un manuel de scientologie. Quand votre texte phare nécessite la nuance "lisible selon ses standards", vous n’optimisez pas pour la recherche de la vérité.
Le scénario central d’extinction (l’IA ment, acquiert des ressources, se cache, puis convertit la biosphère) fait essentiellement le travail de la preuve — la science-fiction, en lieu et place de l’évidence. Vous pouvez accorder toutes les inquiétudes concernant la mauvaise spécification d’objectifs et le comportement de recherche de pouvoir, et tout de même constater que le passage de "l’alignement est difficile" à "l’extinction est certaine" n’est jamais réellement justifié par quelque chose qui ressemble à une preuve formelle.
