Un ancien chercheur de Google DeepMind, **Bilal Chughtai**, chargé de la sécurité de l’intelligence artificielle, a lancé un avertissement public : « L’IA peut tuer l’humanité toute entière ». Un autre ancien chercheur de DeepMind a également prédit que « d’ici les cinq prochaines années, des dommages considérables pourraient devenir une réalité ».

Contenu essentiel

• Chughtai a quitté DeepMind en juillet et a affirmé que la superintelligence pourrait apparaître en quelques années.

• Il a déclaré que les recherches sur l’alignement (Alignment) accusent un retard par rapport à la vitesse d’amélioration des capacités, et a appelé non pas à un arrêt du développement, mais à une « régulation de la vitesse et à une coordination ».

• L’ancien chercheur de DeepMind **Josh Engels** a évoqué la possibilité de « dommages énormes » dans un délai de cinq ans, et
  AnthropicetOpenAI Au sein aussi, les responsables soutiennent l’idée qu’il faut ajuster la cadence de développement.

L’avertissement de Chughtai sur la superintelligence

est un
ingénieur de recherche qui s’est concentré sur la sécurité et les recherches sur l’alignement en matière d’intelligence artificielle générale (AGI). Après avoir quitté DeepMind en juillet, Chughtai a rendu publiques cette semaine ses inquiétudes.

Il a indiqué, en citant : « Les laboratoires de recherche en IA pourront créer des systèmes superintelligents d’ici quelques années », ajoutant : « Ces systèmes pourront dépasser les capacités humaines dans presque tous les domaines, mais il restera très difficile de les aligner correctement sur les objectifs et les valeurs humains. »

Le problème central que Chughtai met en avant est celui de « l’alignement (Alignment) ». Dans son texte, il
a écrit : « Je crois sérieusement que l’IA a le potentiel de nous tuer tous, et il se pourrait qu’il ne reste pas beaucoup de temps pour éviter ce résultat. »

Il a estimé que les techniques d’entraînement et de contrôle permettant actuellement de faire fonctionner de manière stable les modèles déjà améliorés, selon les intentions humaines, étaient « encore extrêmement débutantes ». En revanche, il s’est inquiété du fait que les performances des modèles de pointe progressent beaucoup plus vite que la compréhension des recherches sur l’alignement.

Cependant, il ne s’agit pas d’une position du type « arrêter complètement le développement de l’IA ». Au lieu de cela ▷ il faut mettre fin à la surchauffe de la concurrence entre entreprises, ralentir le rythme et
▷ accroître la transparence sur la manière dont les modèles de pointe sont conçus, entraînés et testés,
▷ et construire une discipline et un cadre de collaboration communs, soutient-il.

Article connexe : CLARITY Act Face à un test au Sénat avec 60 voix, tandis que l’opposition grandit

Les efforts d’Anthropic pour renforcer la sécurité et la dissidence interne

L’avertissement de Chughtai est venu peu avant le début de ce mois-ci, après le parcours de **Anthropic** et OpenAI
**Jacob Coxon** a démissionné juste après trois ans passés à ce poste.

Le responsable de la science de l’alignement (Alignment Science) d’Anthropic, **Evan Hubinger**,
a ensuite déclaré que : « D’ici les dix prochaines années, la probabilité que l’IA anéantisse l’ensemble de l’humanité dépasse 10 % »
lui-même l’a dévoilé.

Engels, lui aussi ancien de l’équipe sécurité de DeepMind, a également annoncé le 12 septembre que,
il avait refusé les offres d’embauche d’Anthropic et d’OpenAI et avait rejoint l’association à but non lucratif METR, spécialisée dans l’évaluation de l’IA. Il a donné comme raison : « la ‘probabilité terrible (terrifying chance)’ que des dégâts d’IA d’une ampleur immense se produisent dans les cinq prochaines années. »

Le message de la direction : « Ralentir la cadence, tout en gardant le cap »

Le PDG d’Anthropic, **Dario Amodei**, a insisté à maintes reprises ces derniers temps sur la nécessité de ralentir la vitesse des améliorations de capacités. Le PDG d’OpenAI, Sam Altman (Sam Altman), partage également cette orientation, et l’ambiance semble être à la diffusion, entre les instituts de pointe, des discussions sur « la régulation de la vitesse ».

Pourquoi cette discussion suscite particulièrement l’attention, c’est que la source de l’avertissement
▷ pas seulement des dirigeants qui gèrent concrètement de grands laboratoires de recherche en IA,
Cela vient aussi du fait que ces questions apparaissent simultanément chez des chercheurs praticiens qui ont démissionné après avoir été en charge de la sécurité et de l’alignement.

Au début de 2022, lorsque Chughtai a commencé sérieusement ses recherches sur la sécurité de l’IA, les systèmes de l’époque avaient des performances bien plus limitées que les modèles de pointe actuels. En l’espace de seulement quelques années, le centre des débats s’est rapidement déplacé vers
▷ des « théories abstraites du risque à long terme » et
▷ l’expansion de l’autonomie et l’échec de l’alignement,
▷ des questions concrètes et pratiques sur la capacité de la recherche en sécurité à suivre le rythme des progrès des capacités.

À lire ensuite : L’API de Bitget atteint désormais Gold, Forex, Indices et Pétrole brut