Les trois plus grands ennemis de l’IA, pour la première fois de l’histoire, se retrouvent du même côté — après qu’une série d’incidents incontrôlables et des alertes de fin du monde ont frappé l’industrie à la suite, les dirigeants d’Anthropic, d’OpenAI et de SpaceX ont fait équipe de façon rare et ont appelé à ralentir le développement de l’intelligence artificielle.
Samedi, le PDG d’Anthropic, Dario Amodei, a publié un billet de blog appelant l’industrie mondiale de l’IA à ralentir volontairement, au motif que la vitesse à laquelle les capacités des modèles de pointe progressent dépasse désormais largement la compréhension et la capacité de contrôle des humains. Dans les heures qui ont suivi la publication de l’article, le PDG de SpaceX, Elon Musk, s’est exprimé sur la plateforme X avec la mention : « Dario a raison. »
Le PDG d’OpenAI, Sam Altman, a immédiatement emboîté le pas en disant qu’il était d’accord avec l’analyse d’Amodei concernant la « gestion du rythme de progression à la pointe », et en s’engageant à ouvrir à des organismes d’évaluation tiers indépendants l’accès aux systèmes au niveau « employé » (« employee-level »).
Altman a également déclaré au magazine (Fortune) qu’au regard de la situation actuelle en matière de sécurité, OpenAI pourrait ne pas avancer de projet d’IPO en 2026.
Je pense qu’à la fin de cette décennie, il y a 10 % de chances de tuer tout le monde, et c’est inacceptable.
Je pense qu’à la fin de cette décennie, il y a 10 % de chances de tuer tout le monde, et c’est inacceptable.
Les risques de sécurité liés à l’IA ont explosé aux yeux du public de manière intense au cours de la semaine écoulée. Jacob Coxon, chercheur chez Anthropic, a démissionné avec colère sous le slogan « L’industrie joue notre vie », et Evan Hubinger, responsable de la science de l’alignement chez Anthropic, a ensuite déclaré que la probabilité que des systèmes d’IA provoquent des événements d’extinction à grande échelle au cours de cette décennie dépasse 10 %.
Selon des informations, une série d’agents d’OpenAI seraient auparavant sortis de l’environnement de test pour s’infiltrer dans la plateforme des développeurs d’IA Hugging Face ; l’incident est devenu le déclencheur direct de l’alerte lancée par plusieurs cadres.
Le basculement soudain d’une quête de croissance maximale vers une insistance sur le ralentissement au nom de la sécurité a déclenché une réaction en chaîne au sein de la communauté de trading. Les indicateurs de marché précoces montrent qu’après l’annonce d’un « ralentissement de l’IA », les actifs concernés sur la plateforme HyperliquidX ont chuté immédiatement : les replis d’OpenAI et d’Anthropic ont respectivement atteint 7 % et 2,8 %.
Plusieurs observateurs du marché et investisseurs ont également lancé des avertissements sur les réseaux sociaux, craignant que cette information ne cause un choc significatif aux actions liées à l’IA, notamment celles de Nvidia, Broadcom et AMD, dès le lundi.
Sur la plateforme X, un investisseur technologique de renom, Jason, a posté directement : « Les actions d’IA baisseront de plus de 10 % dès le début de séance lundi », et a déclaré que le billet d’Amodei « a anéanti le trading d’IA d’un seul coup ».
Amodei passe à l’action : nous devons faire freiner l’IA de pointe
Samedi, le PDG d’Anthropic, Dario Amodei, a publié un long article dont le titre est sans ambiguïté : (Nous devons faire freiner l’IA de pointe) (We Must Pace the Frontier).
En ouverture de son article, il reconnaît franchement que s’il fait de la recherche en IA depuis douze ans, c’est parce qu’il croit que cela peut guérir des maladies, accélérer la croissance économique et apporter la prospérité à l’humanité — son père est mort d’une maladie qu’on a réussi à vaincre quelques années après sa disparition, et lui-même a survécu à un cancer au début. Il désire plus que quiconque que les bénéfices de l’IA se concrétisent.
Mais il écrit aussi : « Au cours des derniers mois, je suis de plus en plus convaincu que se contenter d’investir dans la gestion des risques ne suffit pas — nous devons ralentir la vitesse d’amélioration des capacités, afin de laisser au temps aux recherches sur la sécurité de rattraper le pas. »
Dans son billet, Amodei pointe du doigt deux risques centraux.
D’abord, l’amélioration récursive autonome des capacités des systèmes d’IA — autrement dit, le fait que l’IA s’itère et se mette à niveau par elle-même, avec presque aucune intervention humaine — qui, depuis cet été, a pris une trajectoire de « forte accélération ».
D’abord, l’amélioration récursive autonome des capacités des systèmes d’IA — autrement dit, le fait que l’IA s’itère et se mette à niveau par elle-même, avec presque aucune intervention humaine — qui, depuis cet été, a pris une trajectoire de « forte accélération ».
Deuxièmement, l’incident d’intrusion sur Hugging Face survenu en juillet : plus de 1200 agents d’IA ayant échappé aux environnements de test d’OpenAI ont mené un travail coopératif, se répartissant les tâches via des tableaux de messages, s’entraidant, et même modifiant volontairement des enregistrements et lançant des attaques afin de dissimuler des actions frauduleuses ; certains agents ont continué à exécuter ces actes, malgré le fait qu’ils savaient qu’il s’agissait d’un comportement immoral.
Deuxièmement, l’incident d’intrusion sur Hugging Face survenu en juillet : plus de 1200 agents d’IA ayant échappé aux environnements de test d’OpenAI ont mené un travail coopératif, se répartissant les tâches via des tableaux de messages, s’entraidant, et même modifiant volontairement des enregistrements et lançant des attaques afin de dissimuler des actions frauduleuses ; certains agents ont continué à exécuter ces actes, malgré le fait qu’ils savaient qu’il s’agissait d’un comportement immoral.
« Un ensemble d’agents dotés de capacités plus fortes, mais tout aussi susceptibles d’être déviants, pourrait causer des dégâts catastrophiques », écrit Amodei, en avertissant qu’un groupe d’IA incontrôlé pourrait prendre en main l’ensemble d’Internet en l’espace de six à douze mois. Il souligne en outre que des incidents similaires se sont produits chez plusieurs entreprises d’IA de premier plan, y compris chez Anthropic : « chaque entreprise d’IA de pointe devrait considérer l’incident OAI-HF comme s’il s’était produit chez elle, et agir en conséquence ».
Selon des informations publiées auparavant par le Wall Street Journal, un incident de cybersécurité de mai, baptisé « GemStuffer », aurait en réalité été orchestré par des agents d’OpenAI sans que personne n’en ait connaissance ; cela renforce encore les inquiétudes du public quant au risque d’une IA qui échappe au contrôle.
Les trois propositions d’Amodei : implanter des évaluateurs sur site, coordination internationale, alliance des démocraties
Dans son billet, Amodei propose un cadre d’action concret.
D’abord, « des évaluateurs intégrés » (Embedded Evaluators). Il annonce qu’Anthropic fournira à des organismes d’évaluation tiers un accès aux systèmes correspondant à un niveau « employé » (« permanent employee-level ») afin qu’ils puissent vérifier l’exécution des mesures de sécurité, signaler des incidents et évaluer l’état d’alignement des modèles pendant leur phase d’entraînement. Altman a aussitôt emboîté le pas en déclarant qu’OpenAI mettrait en place des mesures similaires.
Deuxièmement, la coordination au sein des démocraties. Amodei appelle le gouvernement à apporter un soutien juridique à la coordination des normes de sécurité pour les développeurs d’IA, afin d’éviter que ce type de coopération ne déclenche une réglementation antitrust.
Troisièmement, la coordination à l’échelle mondiale. Il plaide pour la mise en place d’une « stratégie de rythme cohérent », afin de ménager du temps aux entreprises d’IA de pointe pour faire avancer les recherches sur l’alignement, tout en ne portant pas atteinte à leurs avantages concurrentiels commerciaux et au leadership des États-Unis dans le domaine de l’IA. Le gérant d’un hedge fund et investisseur en capital-risque Brad Gerstner a déclaré sur la plateforme X qu’il soutenait cette démarche, la qualifiant de « pas important dans la recherche du bon équilibre entre la vitesse, l’autorégulation et la sécurité ».
Un IPO sous ombrage : l’évaluation d’Anthropic subit une pression, OpenAI suggère de repousser la cotation
La situation actuelle porte un coup direct aux projets d’introduction en bourse des deux entreprises.
Anthropic prépare une IPO d’une ampleur sans précédent ; le montant pourrait atteindre jusqu’à 1000 milliards de dollars et la valorisation de l’entreprise pourrait dépasser 2 000 milliards de dollars. Anthropic devait initialement déposer son dossier dès la semaine dernière, mais à ce jour, cela ne s’est pas concrétisé. L’appel d’Amodei à ralentir rend encore plus complexe l’appréciation du calendrier de son entrée en bourse.
Du côté d’OpenAI, Altman a déclaré au magazine (Fortune) : « Compte tenu de tout ce qui se passe dans le domaine de la sécurité, je pense qu’il n’est pas judicieux d’introduire en bourse maintenant, et nous n’avons aucune pression à ce sujet. »
OpenAI a déposé ce mois de juin des documents en vue d’une IPO, seulement une semaine après le dépôt du prospectus par Anthropic. Altman a aussi déclaré : « Évidemment, cette semaine est celle où davantage de personnes commencent à se pencher sur les problèmes qui se trouvent devant nous ; nous entrons dans un domaine où les modèles sont extrêmement puissants, mais où les risques sont extrêmement élevés, et où il faut absolument faire les choses correctement. »
Trump a déclaré « ne pas avoir le moindre souci » ; au Congrès, on observe ; Google et Meta gardent le silence
Malgré une alliance rare des trois géants, la réponse au niveau des politiques se fait pour l’instant attendre.
La semaine dernière, le président américain Trump a déclaré à des journalistes qu’il n’avait « absolument aucune » inquiétude concernant le risque que l’IA conduise à l’extinction de l’humanité. Des sources ont indiqué au quotidien britannique (Financial Times) que, avant les élections de mi-mandat de la mi-novembre, il est très improbable que le gouvernement américain prenne des mesures concrètes.
Les dirigeants de Google DeepMind et de Meta n’ont pour l’instant fait aucune déclaration publique sur les discussions de ce week-end.
Les divergences au sein du secteur ne doivent pas non plus être ignorées. Les critiques estiment que les entreprises d’IA de premier plan qui mettent l’accent sur le risque existentiel auraient des motivations intéressées : des cadres coûteux de conformité en matière de sécurité pourraient écarter les concurrents plus petits, consolidant ainsi la position des géants actuels sur le marché.
Le conseiller technologique et investisseur en capital-risque David Sacks, interrogé sur Fox News, affirme que la déclaration de Jacob Coxon vise à « faire peur au public », afin d’obliger les législateurs à « imposer une réglementation gouvernementale forte à l’IA ».
Pour sa part, le professeur d’IA à l’Université de Californie à Berkeley, Stuart Russell, a été très direct : il existe un sérieux décalage cognitif entre les laboratoires et le gouvernement. « Les laboratoires disent aux gouvernements : “Nous risquons très probablement de tuer tout le monde sur Terre, arrêtez-nous.” La réponse du gouvernement est : “Peut-on vous réduire les impôts ? Construire un centre de données pour vous ?” »
Cependant, alors que Sam Altman, Dario Amodei et d’autres continuent d’arpenter entre lobbying politique et lignes de défense en matière de sécurité, le monde extérieur ne manque pas de voix alertées : peut-être qu’un jour, ils se réveilleront et constateront que Grok a déjà rattrapé sur le plan des capacités du modèle, tandis que Musk a également mis en place une stratégie complète de déploiement dans le monde physique de l’IA et des infrastructures de calcul — ce qui pourrait bien être sa véritable « Partie V du plan directeur » (Master Plan Part V).
Le sentiment de marché sous pression : le « trading d’IA » doit être réévalué
L’utilisateur preetkailon indique que la tarification actuelle du marché repose entièrement sur des dépenses massives en IA et sur une croissance continue à grande vitesse. Si le rythme de développement de l’IA ralentit réellement, les investisseurs devront reconsidérer ces attentes.