Le samedi dernier, le PDG d’Anthropic, Dario Amodei, a publié un article intitulé « (We Must Pace the Frontier) » (« Nous devons accélérer le rythme des avancées »), appelant l’ensemble de l’industrie de l’IA à ralentir et proposant un plan en trois étapes afin de gagner davantage de temps pour la sécurité de l’IA.
Après la publication de cet article, il a rapidement suscité des réactions de concurrents : le PDG d’OpenAI, Sam Altman, ainsi que le fondateur de SpaceXAI, Elon Musk, se sont tous deux publiquement déclarés en faveur de cette approche. Pendant un temps, ralentir le développement de l’IA est devenu, en apparence, un rare consensus industriel à la Silicon Valley.
Cependant, ce consensus n’a pas duré très longtemps. Des critiques ont ensuite émergé, notamment de la part de David Sacks, conseiller technologique auprès de la Maison-Blanche, et de Jason Calacanis, investisseur providentiel. Selon eux, plutôt que d’être motivée par la sécurité, cette initiative de ralentissement viserait à utiliser des mécanismes de captation réglementaire pour étouffer les modèles open source qui progressent à grande vitesse, en particulier ceux d’IA open source venant de Chine.
Le cadre de ralentissement en trois étapes d’Anthropic
D’abord, faisons un bref retour sur les points de vue qu’Amodei avance dans son article.
Il dit que la raison clé pour laquelle il a changé d’avis cette année est la suivante : depuis cet été, la vitesse à laquelle les capacités de l’IA progressent s’est nettement accélérée. Le principal moteur est que les systèmes d’IA commencent à être capables de contribuer à la création de la génération suivante d’IA, c’est-à-dire l’amélioration récursive dite « d’auto-optimisation ».
S’il n’y a pas de cadre réglementaire, il prédit que, dans les 6 à 12 prochains mois, des systèmes d’IA de taille comparable pourraient être capables de construire un réseau de zombies continu, de contrôler l’ensemble d’Internet et d’entraîner des pertes économiques pouvant atteindre plusieurs centaines de milliards de dollars.
Sur la base de ces deux constats, Amodei propose un cadre de ralentissement en trois étapes :
Première étape : le système d’« évaluateurs internes » unilatéralement promis par Anthropic, c’est-à-dire inviter un organisme tiers comme le METR à envoyer du personnel en résidence au sein de l’entreprise, avec des droits proches de ceux des employés. Ces évaluateurs effectueraient un audit continu des pratiques de sécurité de la société et de l’état d’alignement des modèles, tout en conservant un certain droit de publication indépendante.
Deuxième étape : la coordination au sein du camp démocrate, c’est-à-dire que les entreprises américaines de pointe négocient entre elles afin d’établir des normes de sécurité et des plafonds de capacités communs. Parallèlement, elles appellent aussi le gouvernement américain à accorder des exemptions antitrust, pour que le dialogue de sécurité entre entreprises puisse se dérouler légalement.
Troisième étape : la coordination au niveau mondial, c’est-à-dire tenter d’atteindre un certain niveau de consensus avec des États autoritaires comme la Chine au sujet des risques liés à l’IA. Même si Amodei admet lui-même que c’est le niveau de coopération le plus difficile, la portée qui pourrait être atteinte semble être assez limitée.
Amodei souligne que ralentir ne signifie pas que les États-Unis doivent abandonner leur avantage de pointe sur la Chine dans le domaine de l’IA. Il plaide pour que les États-Unis continuent de restreindre les exportations vers la Chine des puces et équipements de semi-conducteurs avancés, et pour qu’ils luttent contre la contrebande de puces ainsi que les pratiques de distillation de modèles non autorisées, afin de maintenir et d’accentuer l’écart technologique entre les États-Unis et la Chine.
Source de l’image : X / Dario Amodei ; Anthropic, PDG Amodei (Dario Amodei), publie un article intitulé (Nous devons ralentir la frontière) (We Must Pace the Frontier)
Les acteurs de l’IA soutiennent massivement ; le public dénonce violemment la captation réglementaire
Après la publication de l’article d’Amodei, la réaction de l’industrie a été assez unanime :
Sur une plateforme de réseau social, Altman a déclaré qu’OpenAI discutait aussi récemment de sujets similaires en interne et a promis de soutenir la mise en œuvre du système d’évaluateurs indépendants.
Le fondateur de Google DeepMind, Demis Hassabis, reprend également l’orientation d’Amodei et mentionne l’idée d’un organisme de normes industrielles avancée par DeepMind en amont.
Le responsable du département Meta AI, Wang Tao, a déclaré pour sa part que, à mesure que les capacités des modèles deviennent de plus en plus puissantes, l’alignement deviendra à terme une condition clé pour élargir l’échelle de déploiement des applications.
Cependant, des critiques surgissent très vite, et celles provenant du président du comité de conseillers technologiques de la Maison-Blanche, Sacks, sont les plus virulentes.
Il le dit franchement : OpenAI et Anthropic occupent déjà une position de duopole sur divers indicateurs, notamment parts de marché, croissance des revenus et capacités des modèles. Si les deux sociétés estiment que les modèles non encore publiés qu’elles détiennent sont déjà assez dangereux pour nécessiter un ralentissement, elles peuvent décider elles-mêmes de ralentir. Elles n’ont pas besoin de demander une autorisation à l’extérieur, ni de faire un pas en arrière sur ce sujet en demandant un assouplissement antitrust.
Sacks remet en plus en question l’indépendance du METR, estimant que cet organisme entretient des relations trop étroites avec les investisseurs et les employés d’Anthropic. Il souligne aussi qu’il est presque impossible que la Chine rejoigne un quelconque accord mondial, et appelle le public à ne pas passer outre ce point.
Source de l’image : X / David Sacks ; David Sacks, conseiller technologique auprès de la Maison-Blanche, exprime des doutes sur le ralentissement du développement des géants de l’IA
Pour Jason Calacanis, investisseur providentiel, le rendement sur investissement des entreprises de modèles de pointe se trouve compressé précisément à cause de l’essor des modèles open source. Les entreprises de l’IA dans des verticales spécifiques, les agences gouvernementales et les entreprises classiques commencent toutes à adopter des modèles open source : c’est, selon lui, la vraie motivation derrière cette initiative de ralentissement, à savoir empêcher les modèles open source de progresser.
Il va même plus loin en posant la question : si ces géants de l’IA agissaient vraiment de bonne foi pour la sécurité, pourquoi ne pas exiger qu’ils publient en même temps en open source les modèles et poids de pointe de l’an dernier ?
Guillermo Rauch, PDG de Vercel, estime pour sa part que la sécurité de l’IA et les risques en cybersécurité méritent effectivement d’être pris au sérieux. Mais il craint que l’élan en faveur du ralentissement n’entraîne les États-Unis dans une impasse bureaucratique, en ralentissant une dynamique qui avait déjà permis au pays de prendre de l’avance dans le développement de l’IA.
Source de l’image : X / Guillermo Rauch ; Guillermo Rauch, PDG de la plateforme de déploiement et d’hébergement Vercel, met en cause le ralentissement du développement des géants de l’IA
Les géants de l’IA sont-ils réellement impliqués dans de la captation réglementaire ?
En réalité, dès le mois de mai de cette année, des chercheurs comme Abeba Birhane ont présenté à la conférence académique ACM FAccT sur l’éthique et les systèmes informatiques un article qui compile systématiquement la manière dont les grandes entreprises d’IA pratiquent la captation réglementaire.
L’équipe de recherche a analysé 100 articles de presse, y a identifié 249 cas concrets de « regulatory capture » (captation réglementaire) et en a tiré 27 tactiques courantes, réparties en cinq grandes catégories : influer directement sur l’élaboration des politiques ; conflits d’intérêts de type « portes tournantes » entre le privé, les milieux académiques et l’État ; usage de la position dominante sur le marché pour imposer des normes industrielles ; contournement des lois en vigueur ; et, enfin, façonnage de récits favorables via l’académie et les médias.
L’étude indique également que les entreprises d’IA, grâce à des parrainages de conférences académiques de haut niveau et de projets de recherche, mettent en place une structure d’emplois doubles très dépendante entre le privé et les milieux académiques. Par ailleurs, les médias s’appuient aussi largement sur les dirigeants des entreprises comme sources d’information.
En citant une analyse du (New York Times), l’étude indique que la proportion d’articles s’appuyant sur les avis de hauts responsables d’entreprises technologiques atteint jusqu’à 67 %, tandis que la voix des organisations citoyennes ne représente que 6 %. Les acteurs de l’industrie sont souvent présentés comme des experts ; les critiques sont, eux, facilement étiquetés comme « sceptiques ».
Source de l’image : un article de l’ACM FAccT qui synthétise systématiquement la manière dont les grandes entreprises d’IA procèdent à la captation réglementaire
Ralentir l’IA pour la sécurité, ou pour consolider sa position ?
En mettant ces indices ensemble, il n’est pas difficile de comprendre pourquoi les critiques de Sacks, Calacanis et d’autres ont rapidement trouvé un écho.
Le calendrier du plan de ralentissement proposé par Amodei tombe précisément au moment où les modèles open source rattrapent rapidement, et où Nvidia s’oriente aussi récemment vers le soutien à l’écosystème open source.
Si le ralentissement finit par être effectivement inscrit dans des obligations législatives, le camp open source, qui regroupe des acteurs plus petits et dépourvus de capacités à produire des modèles de pointe, risque d’être évincé du marché en raison d’une hausse massive des coûts de régulation. Cela correspond exactement aux méthodes d’influence sur le marché résumées dans l’article mentionné plus haut : tirer parti de la position de leader industriel pour imposer les normes, et ainsi, de façon indirecte, écarter des concurrents potentiels.
Bien sûr, cela ne signifie pas que les inquiétudes en matière de sécurité soulevées par Amodei ne tiennent aucunement debout.
L’affaire impliquant OpenAI et Hugging Face s’est bien produite ; OpenAI a aussi confirmé par la suite avoir suspendu une partie du travail d’entraînement sur certains modèles avancés, montrant que les risques ne sont pas inventés de toutes pièces.
Selon l’ancien chercheur d’Anthropic Jacob Coxon, cité par la(BBC), l’industrie nourrit effectivement une vraie crainte de la perte de contrôle de l’IA. Ces inquiétudes ne seraient probablement pas entièrement motivées par des considérations commerciales.
Article connexe : Un ancien chercheur d’Anthropic avertit : dans quelques années, l’IA pourrait détruire l’humanité ; le plus tôt possible d’ici la fin de l’année, la situation pourrait échapper à tout contrôle
Autrement dit, la controverse est complexe précisément parce que le risque pour la sécurité et les intérêts commerciaux se recoupent fortement sur ce sujet.
Les partisans du ralentissement, dont Amodei lui-même, ainsi qu’Altman et Hassabis, mettent l’accent sur le fait que la vitesse de croissance des capacités de l’IA dépasse déjà la portée de compréhension et de contrôle humains ; il faut du temps pour combler l’écart en matière de recherche sur la sécurité et l’alignement.
Le camp des critiques rappelle que l’influence politique et économique accumulée par les mêmes entreprises au cours des dix dernières années leur a déjà donné les capacités et les incitations nécessaires pour renforcer leur position de marché via la réglementation. Les deux objectifs ne sont pas forcément exclusifs, ce qui rend difficile pour le public de juger cette initiative de ralentissement de façon simplement « tout noir ou tout blanc ».
Le cadre mondial de régulation de l’IA doit-il être piloté par qui ?
La controverse sur le ralentissement ne concerne finalement pas seulement les intérêts commerciaux de quelques entreprises : elle touche aussi à la dynamique concurrentielle entre les États-Unis et la Chine dans le domaine de l’IA, ainsi qu’à la question de savoir qui établira le cadre mondial de régulation de l’IA à l’avenir.
Le système d’évaluateurs internes proposé par Amodei pourra-t-il réellement être mis en œuvre de manière à garantir une supervision indépendante ? Les gouvernements adopteront-ils des lois en ce sens ? La Chine participera-t-elle à une quelconque forme de coordination internationale ? Pour l’heure, aucune réponse n’existe à ces questions.
Ce qui est certain, c’est qu’à mesure que les capacités des modèles d’IA continueront de progresser, la frontière entre sécurité et captation réglementaire sera probablement de plus en plus difficile à distinguer.
Lecture complémentaire :
Le titre chute en début de séance à Taïwan ! Les géants de l’IA ralentissent tous leurs cadences ; Bloomberg : pression possible à court terme sur les valeurs des puces, perspectives favorables pour les tendances en infrastructures à long terme
La percée du casse-tête du millénaire sans controverses éthiques ! Des mathématiciens utilisent Codex pour leurs recherches ; OpenAI aurait-il ensuite trouvé plus vite la solution ?
« Les géants de l’IA appellent à ralentir d’une seule voix, mais le public critique “la captation réglementaire” : le vrai but est-il de faire tomber l’IA open source ? » ; cet article a été publié pour la première fois sur « Cryptoville »