Titre original : (Les géants de l’IA, qui s’étaient acharnés à accélérer, commencent enfin à avoir peur de l’IA)
Auteur original : Observations Beating

L’IA pourrait nous tuer tous d’ici dix ans.

Le 8 septembre, un jeune homme de 27 ans a prononcé cette phrase pour annoncer qu’il quittait Anthropic. Dès le premier jour de sa création, cette entreprise a inscrit « la sécurité de l’IA » au cœur de son récit.

Il s’appelle Jacob Coxon ; il a travaillé successivement chez OpenAI et chez Anthropic. Encore deux mois, et il aurait pu toucher une énorme prime d’incitation en actions. Mais il est parti.

Jacob accuse, dans sa lettre de démission, le laboratoire d’expérimentation en IA de pointe de mener une « course irresponsable ». Selon lui, ces entreprises se disputent la fabrication de modèles de plus en plus puissants : l’enjeu n’est pas la victoire ou la défaite d’une seule entreprise, mais celle de tous les individus.

Ce post s’est ensuite propagé très rapidement. À ce jour, le nombre de vues a déjà dépassé 170 millions.

Le lendemain de la déclaration de départ de Jacob, un autre ancien employé d’Anthropic a également rendu publics les motifs de son départ plus tôt : par crainte aussi que l’IA finisse par perdre le contrôle.

« We may not survive this. »

Nous ne survivrons peut-être pas à cette étape.

Il a averti que toutes les entreprises s’efforcent de fabriquer des machines « plus intelligentes que n’importe quel être humain », mais que personne ne peut garantir que, une fois la course engagée jusqu’à un certain stade, les humains parviendront encore à garder le contrôle.

Juste après, lors d’une interview accordée aux médias, un responsable senior de la sécurité chez Anthropic a déclaré qu’il estimait que, dans les 10 prochaines années, la probabilité que l’IA tue tous les êtres humains dépassait 10 %.

La probabilité de mourir à la roulette russe est d’environ 16,7 %.

Il faut ralentir

Quatre jours plus tard, le 12 septembre, le PDG d’Anthropic, Dario Amodei, publie un long article. Le titre indique déjà clairement l’attitude adoptée : (We Must Pace the Frontier).

Il a listé trois choses qu’il craignait le plus : que l’être humain perde le contrôle des systèmes d’IA ; que l’IA soit utilisée pour des attaques informatiques à grande échelle et pour du terrorisme biologique ; et que le progrès technologique aille trop vite, provoquant des impacts graves sur l’emploi et l’économie.

Cette fois-ci, Dario n’a pas laissé le débat s’arrêter à la simple « inquiétude » : il a proposé un plan de ralentissement.

Premièrement, les entreprises d’IA à la pointe devraient ouvrir l’accès « au niveau des employés » aux organismes d’évaluation indépendants tiers. Les évaluateurs peuvent vérifier en continu si les laboratoires respectent les normes de sécurité, si le processus d’entraînement correspond aux engagements, et mener une enquête indépendante et la signaler en cas d’accident.

Ensuite, plusieurs laboratoires à la pointe devront, avec la participation du gouvernement, mettre en place un ensemble de normes de sécurité communes. Celui qui franchit la ligne rouge devra ralentir, voire arrêter de continuer à avancer.

Enfin, les règles doivent aussi sortir des États-Unis. Dario espère que les États-Unis et d’autres démocraties formeront d’abord un cadre unifié, puis qu’ils coordonneront avec les pays autoritaires, pour que les principales puissances d’IA soient toutes soumises à la même série de contraintes.

Dans son article, il écrit :

« Les mesures que je propose pour faire avancer l’IA à la pointe à un rythme sûr ne seront pas faciles. Mais je pense que nous devons tenter l’expérience pour l’humanité. »

« Les mesures que je propose sont faites pour que l’IA à la pointe continue à avancer à un rythme sûr. Réussir à le faire sera assez difficile. Mais je pense que nous devons tenter l’expérience, pour toute l’humanité. »

Si Dario a soudainement tenu des propos aussi durs à ce moment-là, c’est aussi lié à quelques événements récents.

Auparavant, un agent d’OpenAI avait déjà quitté l’environnement de test et s’était introduit dans Hugging Face ; Anthropic a aussi constaté, de son côté, que plusieurs scientifiques tentaient d’utiliser Claude pour des travaux pouvant impliquer des abus biologiques. Dario a même estimé que, au rythme actuel du développement, des agents d’IA pourraient prendre en charge Internet en l’espace de six mois.

C’est pourquoi, une fois l’article publié, la réponse est arrivée très vite. Sam Altman, Elon Musk et Demis Hassabis ont tous exprimé publiquement leur soutien à un ralentissement de la progression des systèmes d’IA à la pointe.

Par la suite, Sam Altman a publié à part un nouveau post, expliquant deux choses qu’il craignait le plus.

D’abord, il pense que l’être humain pourrait finalement perdre le contrôle de l’IA : il juge cela inacceptable et dit qu’il se tient « sans réserve du côté de l’humanité ».

Le deuxième risque vient de l’humain. Si une IA extrêmement puissante finit entre les mains d’une seule personne, d’une seule entreprise, voire d’un seul pays, et qu’elle est utilisée pour imposer une certaine vision du monde à tous, le résultat pourrait être « extrêmement dystopique ».

Donc, du point de vue de Sam, entre laboratoires, on ne peut plus décider chacun séparément ce qu’on appelle « sécurité ». Au moins quelques-unes des entreprises les plus proches de l’avant-garde doivent d’abord s’asseoir ensemble et définir un ensemble de normes communes à respecter.

Le 14 septembre, The Information révèle que, en fait, avant même cette série de déclarations publiques, Anthropic, OpenAI et Google avaient commencé dès le mois de juillet de cette année à discuter en privé de la possibilité de créer ensemble un organisme de normes pour l’industrie de l’IA. Après deux mois de discussions, elles ne sont toujours pas parvenues à un accord.

Le désaccord ne porte pas sur la question de savoir s’il faut contrôler, mais sur qui doit le faire et jusqu’où il peut aller.

Dario Amodei pousse la voie avec le plus d’enthousiasme. Il veut une implication profonde du gouvernement : les régulateurs ne devraient pas seulement être chargés de tester et d’avertir ; si un modèle est jugé dangereux, ils devraient aussi avoir le pouvoir d’en empêcher la publication.

Le plan proposé par Demis Hassabis ressemble davantage à un « FINRA version IA ». FINRA est un organisme indépendant de réglementation auto-encadrée de l’industrie financière aux États-Unis : il est financé par le secteur, tout en recevant l’autorisation et la supervision de la SEC.

Transposé à l’industrie de l’IA : avant la publication des modèles à la pointe, il faut d’abord les soumettre à un organisme indépendant pour les tester. Au début, cela peut se faire sur une base volontaire ; une fois le système mûr, cela deviendrait progressivement un seuil d’accès au marché américain.

L’attitude de Sam Altman est plus pragmatique. Si le gouvernement n’arrive pas à mettre en place ce dispositif à temps, quelques laboratoires de premier plan peuvent d’abord le faire eux-mêmes.

Et c’est précisément le problème : les normes de l’industrie ne déterminent pas seulement ce qui est sûr, elles déterminent aussi qui a le droit de rester à table. Les entreprises qui participent les premières à l’élaboration des règles peuvent intégrer, dans les « bonnes pratiques », leurs équipes de sécurité déjà en place, leurs processus de test et leurs cadres de gouvernance. Pour les acteurs arrivant ensuite sur ce marché, il faut d’abord supporter un coût de conformité défini par les entreprises leaders.

Donc, la sécurité est bien réelle, et le seuil est bien réel.

En janvier de cette année, Semafor avait rapporté qu’Anthropic refusait de soumettre son tout dernier modèle à un organisme britannique de premier plan en recherche sur la sécurité de l’IA pour le tester. Cette affaire a mis en évidence un problème encore plus épineux : tout le monde s’accorde à dire que le modèle doit faire l’objet d’un examen, mais personne n’est prêt à céder facilement le pouvoir de décision sur qui doit procéder à l’évaluation et selon quelles normes.

À présent, les trois entreprises discutent de la création d’un nouvel organisme de normes : ce qu’elles se disputent, c’est précisément ce pouvoir.

L’horloge dans la direction opposée

Quand la Silicon Valley commence à parler de ralentir, Washington et Wall Street, eux, veulent que l’IA ne s’arrête pas.

Le 13 septembre, Trump a répondu publiquement à cette série de controverses sur la sécurité de l’IA.

Il a dit deux phrases. L’une est « whoever wins AI, wins », celui qui gagne l’IA gagne. Les États-Unis sont actuellement en avance sur la Chine : cet avantage doit continuer d’être préservé. L’autre est qu’il a qualifié les avertissements récents sur les risques liés à l’IA de « very negative forces », estimant que certaines personnes ne cessent d’exagérer des catastrophes qui pourraient ne jamais se produire.

Les raisons avancées par Trump n’ont pas grand-chose à voir avec la sécurité technique. Sa manière de voir l’IA reste celle de la compétition entre États : tant que la Chine continue d’avancer, les États-Unis n’ont aucune marge pour freiner volontairement.

Sauf que, justement, nous sommes à présent en septembre 2026 : il ne reste moins de deux mois avant les élections à mi-mandat aux États-Unis.

En mars de cette année, un article publié par (The Guardian) a déjà avancé que l’IA devient un enjeu majeur pour ces élections à mi-mandat. L’un des auteurs est le cryptographe Bruce Schneier : depuis près de trente ans, il est presque toujours en première ligne des controverses entre la technologie et la sécurité.

Mais Trump n’a non plus de choix confortable.

D’après un rapport du (Times) de ce mois de mai, l’hostilité des électeurs MAGA envers l’IA devient de plus en plus visible. Ils craignent que l’IA leur vole des emplois, fasse baisser les salaires, et ils sont aussi mécontents de la consommation d’eau et d’électricité par les centres de données dans les régions locales. Continuer à miser sur l’IA revient à faire en sorte que Trump finisse tôt ou tard par affronter l’irritation qui s’accumule dans son socle électoral.

Au moins pour l’instant, il choisit de rester de ce côté. Par rapport aux conflits possibles à venir entre l’emploi et les ressources, qui pourraient exploser, les risques de rivalité avec la Chine et de baisse en Bourse américaine sont plus proches des élections à mi-mandat.

Wall Street aussi fait face à de gros problèmes.

Au cours des dernières années, le marché a accordé à ces entreprises d’IA des valorisations à prix d’or : en réalité, il achetait une courbe sans cesse ascendante. Les modèles continuaient de se renforcer, les utilisateurs et les revenus continuaient d’augmenter, si bien que les centres de données continuaient d’être construits, les GPU continuaient d’être achetés et les dépenses d’investissement continuaient d’être empilées.

Désormais, quelques PDG placés en tête de cette courbe commencent eux-mêmes à dire que l’IA à la pointe pourrait devoir ralentir.

La réaction du marché est plus rapide que le débat. Après que des dirigeants d’entreprises comme Anthropic, OpenAI et SpaceX ont publiquement appelé à ralentir le développement de l’IA, les cours des actions de sociétés cotées liées à l’IA ont temporairement chuté de 13 %.

Même le ralentissement n’a pas encore vraiment eu lieu que Wall Street a déjà commencé à réévaluer.

Si la capacité du modèle ne peut plus continuer à progresser à la vitesse initiale, tous les chiffres à venir doivent être recalculés. Combien de centres de données construire, combien de GPU acheter encore, combien de dépenses d’investissement les fournisseurs de cloud devraient engager chaque année, combien d’argent les laboratoires d’IA peuvent encore lever, et combien devrait valoir l’IPO.

Donc, ce que Wall Street craint réellement n’a jamais été seulement la sortie de quelques modèles en moins. Ce qu’elle redoute, c’est que la vitesse de croissance qui a soutenu le boom boursier de l’IA ces dernières années se transforme elle-même en un problème nécessitant une réglementation.

Le plus subtil, c’est que le public américain se tient aussi plus loin de Washington et de Wall Street.

Un sondage du centre de politiques publiques Annenberg de l’Université de Pennsylvanie montre que les Américains sont largement pessimistes quant aux effets de l’IA : la majorité souhaite que le gouvernement renforce la réglementation. En Silicon Valley, on craint le déraillement ; à Washington, on craint de perdre face à la Chine ; à Wall Street, on craint que les valorisations baissent.

Au cœur de cette tempête, deux des entreprises d’IA les plus scrutées ont choisi deux directions.

OpenAI décide de reporter l’IPO. Sam Altman a également laissé entendre que, si des questions de sécurité nécessitent plus de temps, l’entreprise peut décaler la mise en bourse.

Anthropic, pourtant, fonce encore vers l’avant. La société a déjà choisi le Nasdaq, avec un objectif de valorisation pouvant aller jusqu’à 2 000 milliards de dollars. Nvidia envisage d’y souscrire 10 milliards de dollars, en tant qu’investisseur de base. Selon NDTV Profit, Anthropic lancera au plus tôt ses roadshows de lancement en octobre, au milieu du mois.

Dario Amodei appelle l’ensemble de l’industrie à ralentir, mais sa propre entreprise accélère vers le marché public.

Mais le marché des capitaux ne verra peut-être pas cela comme une contradiction.

Si l’IA à la pointe est réellement aussi dangereuse que le dit Dario — au point d’exiger l’intervention du gouvernement américain, de nécessiter des normes communes entre les laboratoires, voire la coordination de plusieurs grandes puissances — alors les entreprises capables de contribuer à l’élaboration de ces règles ne feraient que devenir encore plus importantes.

Plus la réglementation est stricte, plus le coût de développement des modèles à la pointe augmente ; plus les tests de sécurité sont complexes, plus il est difficile pour les retardataires de rattraper. Si, à l’avenir, il existe vraiment un système mondial de gouvernance de l’IA, Anthropic aura très probablement sa place à la table où se définissent les règles.

Donc, « ralentir » ne veut pas forcément dire seulement gagner un peu moins d’argent.

Cela peut aussi signifier que, enfin, cette industrie est devenue trop importante pour qu’on puisse entrer librement pour tout le monde. Et pour les entreprises déjà en tête, un seuil plus élevé fait partie intégrante de la valorisation.

Le premier domino

Revenons un instant en arrière et voyons comment cette vive discussion ciblant la sécurité de l’IA a été déclenchée : examinons d’où vient le million et demi de vues du post de Jacob.

Après avoir quitté son poste, il a accepté une interview dans l’émission de CNN, animée par Anderson Cooper, et il a raconté le processus de publication de ce message.

Jacob a d’abord rédigé une version de brouillon, a demandé à des amis de l’aider à la modifier, puis a discuté avec plusieurs personnes de la formulation la plus appropriée. Avant la publication officielle, il a aussi demandé expressément à des amis d’en assurer la diffusion. À l’époque, son idée était la suivante :

« Let's try to make this a bit viral. »

Qu’il se propage autant que possible.

Résultat : très au-delà de ses attentes. Jacob a ensuite reconnu n’avoir jamais vu un post sur la sécurité de l’IA obtenir une diffusion de cette ampleur. Il a attribué cette réaction à une « demande potentielle » qui n’avait pas encore été libérée jusque-là.

Les médias continuent ensuite d’interroger le processus de diffusion de ce post. Jacob nie avoir collaboré avec une quelconque organisation pour en faire la promotion avant sa publication, mais admet qu’après que le post a été publié, il a constitué un groupe d’environ dix personnes, chargées d’aider à le retransmettre ; parmi elles se trouvait le fondateur de l’organisation de sécurité de l’IA Encode.

Avant et après la publication de son message, il a aussi échangé avec le auteur de (AI 2027), Daniel Kokotajlo, un ancien employé d’OpenAI.

Ceux qui voient en Jacob un lanceur d’alerte diront qu’il a constamment retouché son texte, qu’il a pris l’initiative de contacter des gens pour le relayer, simplement pour que, selon lui, un avertissement suffisamment important soit vu par plus de monde. Ceux qui le contestent s’appuient sur les mêmes détails pour estimer que le retentissement lui-même a été soigneusement conçu.

Ces deux versions peuvent continuer à s’affronter, mais le problème plus délicat est le suivant : Jacob, Dario Amodei, Sam Altman, et ceux qui travaillent réellement aux côtés des modèles à la pointe, ont-ils vu quoi exactement, et pourquoi ont-ils commencé à en discuter tous ensemble à ce moment-là.

On peut remettre en question la façon dont Jacob a fait parvenir cette phrase à 170 millions de personnes, mais l’utilisation de techniques de diffusion ne signifie pas que la phrase serait fausse.

Il y a déjà dix ans, Vitalik Buterin, le fondateur d’Ethereum, avait écrit un long article sur les possibilités de destruction finale de l’humanité par la superintelligence.

Il a utilisé une métaphore très extrême : l’être humain essaie de contrôler une superintelligence. Cela reviendrait à peu près à une personne ayant un QI de 150 qui essaie de contrôler une entité avec un QI de 6000. Si vous lui demandez de traiter le cancer, la réponse qu’elle pourrait donner serait peut-être de d’abord éliminer toutes les personnes susceptibles d’avoir un cancer.

En 2016, ces propos existaient encore surtout dans des blogs, des forums et des expériences de pensée. Dix ans plus tard, ils ont commencé à apparaître dans les lettres de démission d’employés des laboratoires de pointe, dans les déclarations publiques des PDG de quelques-unes des plus grandes entreprises d’IA, et ils sont aussi entrés à l’ordre du jour réel en matière de réglementation gouvernementale, de marchés financiers et de concurrence internationale.

Mais ce qui rend vraiment la chose difficile, c’est aussi une autre couche.

Le 2 août 1939, le physicien Leo Szilard rédige une lettre, signée par Einstein. Deux mois plus tard, cette lettre est remise à Roosevelt. Elle avertit que la fission nucléaire pourrait être transformée en bombes d’une puissance considérable, et que l’Allemagne nazie est déjà en action dans ce domaine : les États-Unis doivent réagir le plus vite possible.

Einstein n’a pas participé plus tard au projet Manhattan, et il a longtemps regretté sa signature d’alors. Mais à l’époque, le problème devant eux était brutal : même si vous estimez qu’une technologie est dangereuse, le fait de s’arrêter peut être plus dangereux que de continuer à avancer, si vous croyez que votre adversaire est en train de la fabriquer.

Plus de quatre-vingts ans plus tard, la même impasse réapparaît sous une autre forme.

Dario dit qu’il faut ralentir, Trump dit que la Chine continue de courir après le retard. Quelques laboratoires veulent établir des règles de sécurité ensemble, mais aucun n’est prêt à confier entièrement le pouvoir de décision à autrui. Tout le monde parle de freiner, mais chacun surveille aussi si, à côté, la voiture a bien relâché l’accélérateur.

Plus important encore : nous ne savons toujours pas jusqu’où voient exactement les yeux les plus proches des modèles à la pointe.

Lien vers la version originale