Deux semaines après la publication de GPT-4, une lettre ouverte signée par Elon Musk et des milliers de personnes du secteur technologique a été publiée en ligne. La lettre ouverte appelle tous les laboratoires d'intelligence artificielle à suspendre immédiatement la formation des systèmes d'intelligence artificielle plus puissants que GPT-4 pendant au moins 6 mois.

Le co-fondateur d'Apple Steve Wozniak, le lauréat du prix Turing Yoshua Bengio et le co-auteur du manuel d'IA "Artificial Intelligence: A Modern Approach" Stuart Russell Stuart Russell et d'autres personnalités technologiques bien connues ont signé cette lettre ouverte.

La lettre ouverte déclare que "l'IA avancée peut entraîner de profonds changements dans l'histoire de la vie sur terre, et que nous devrions investir une attention et des ressources proportionnées dans sa planification et sa gestion". et les développeurs ne peuvent pas le prévoir et le contrôler de manière fiable.

La lettre ouverte mentionne également que les systèmes d'intelligence artificielle contemporains deviennent désormais compétitifs par rapport aux humains sur des tâches générales. "Des systèmes d'intelligence artificielle puissants ne devraient être développés que lorsque nous sommes convaincus que leurs effets sont positifs et que leurs risques sont contrôlables".

Selon l'idée de la lettre ouverte, la formation des systèmes d'IA plus puissants que GPT-4 devrait être suspendue pendant 6 mois. Pendant cette pause, les laboratoires d’IA et les experts indépendants devraient travailler ensemble pour développer et mettre en œuvre un ensemble commun de protocoles de sécurité pour la conception et le développement avancés de l’IA, sous réserve d’un audit et d’une surveillance rigoureux par des experts externes indépendants.

Ces protocoles doivent garantir que leurs systèmes sont sécurisés et hors de tout doute raisonnable. Cela ne signifie pas un moratoire sur le développement de l’IA en général, mais simplement un pas en arrière par rapport à la course dangereuse vers des modèles de boîtes noires plus grands et imprévisibles.

La lettre a été publiée sur le site Web du Future of Life Institute, qui est principalement financé par la Fondation Musk, Founders Pledge et la Silicon Valley Community Foundation, et sa mission est de guider les technologies de transformation à grande échelle. risques et vers une vie de bénédiction.

Dès 2017, le Future of Life Institute a réuni plus de 100 leaders d’opinion et chercheurs dans les domaines de l’économie, du droit, de l’éthique et de la philosophie pour se réunir en Californie afin de discuter et de formuler des principes pour une intelligence artificielle bénéfique. Au final, ils ont formulé 23 principes d'Asilomar sur l'intelligence artificielle, qui sont considérés comme des principes importants pour la gouvernance de l'intelligence artificielle. Le premier d’entre eux est « L’objectif de la recherche sur l’intelligence artificielle devrait être d’établir une intelligence bénéfique, et non une intelligence désordonnée. »

Pour les travailleurs de la technologie qui ont signé cette lettre ouverte, la plupart des gens s'inquiètent du fait que l'IA se développe trop rapidement, que la supervision et les lois en vigueur n'ont pas suivi, et que même les inventeurs manquent de méthodes de contrôle efficaces. Dans de telles conditions, l’utilisation illimitée de l’IA est susceptible d’engendrer des risques systémiques en cas de problèmes.

Selon Time Magazine, Simon Campos, signataire de la lettre ouverte et PDG de la startup de sécurité de l'intelligence artificielle SaferAI, a déclaré que les inventeurs des systèmes d'IA ne savent pas exactement comment ils fonctionnent ni ce qu'ils sont, donc échec dans la gestion des risques du système. L'inventeur a la capacité de le faire, mais ne sait pas comment limiter le comportement de l'IA.

"Que faisons-nous maintenant?", A demandé Campos. "Nous travaillons à toute vitesse pour étendre ces systèmes à des niveaux de capacité sans précédent et avoir un impact transformateur sur la société. Nous devons ralentir le développement de ces systèmes et permettre à la société de s'adapter."

L’inquiétude de Musk : une IA qui ne peut pas être désactivée

Musk se méfie de l'IA depuis longtemps. Dès 2014, Musk a déclaré publiquement dans une interview que nous devrions être très prudents à l'égard de l'intelligence artificielle. Si nous devions deviner quelle est la plus grande menace pour l'existence humaine, elle pourrait être artificielle. intelligence. . "Avec l'intelligence artificielle, les humains invoquent le diable", a déclaré Musk.

Il a également déclaré : « Je suis de plus en plus enclin à penser qu'il devrait y avoir une certaine surveillance réglementaire, peut-être au niveau national et international, juste pour être sûr que nous ne faisons pas quelque chose de vraiment stupide. »

Musk ne parle pas seulement des problèmes de sécurité de l’IA. Début 2015, Musk a fait don de 7 millions de dollars au Future of Life Institute pour mener des recherches visant à faire profiter l’humanité de l’IA. La plupart des bénéficiaires sont engagés dans des recherches sur l'éthique, la gouvernance et la sécurité de l'IA. De nombreux bénéficiaires, comme Stuart Russell, ont participé à la signature de cette lettre ouverte.

En tant qu’investisseur précoce dans DeepMind, Musk semble quelque peu ambivalent à l’égard de l’IA. Mais il a affirmé que son investissement n'était pas du point de vue du retour sur investissement, mais qu'il voulait simplement prêter attention au développement de l'intelligence artificielle, car cela pourrait conduire à des résultats dangereux. Il y a des conséquences désastreuses, a-t-il déclaré, et nous devrions travailler pour nous assurer que les conséquences sont bonnes et non mauvaises. "

Le mauvais résultat n’est pas que les robots se rebellent et éliminent les humains, comme le montre le film. Au lieu de cela, les experts ne s’inquiètent pas de la conscience des robots, mais de leurs capacités. L’IA a une puissante capacité à atteindre ses objectifs, mais si elle devient incontrôlable ou s’écarte du scénario d’utilisation prévu, elle peut causer des dommages irréversibles.

Une personnalité importante qui a signé la lettre ouverte, Joshua Bengio, lauréat du prix Turing, surnommé le « Parrain de l'IA », a toujours été préoccupé par les abus de l'intelligence artificielle. En 2018, Bengio faisait partie des milliers de chercheurs en intelligence artificielle qui ont signé un engagement à s’opposer au développement d’armes IA. Il a appelé les gouvernements à réglementer la recherche sur l’intelligence artificielle et à arrêter le développement de robots mortels.

Les armes IA sont un exemple extrême d’abus des robots. Les armes IA sont plus efficaces que les armes traditionnelles lorsqu’elles sont utilisées sur le champ de bataille. Cependant, une fois hors de contrôle, les problèmes causés par les armes de l’intelligence artificielle seront plus graves. Sur le champ de bataille, afin d’éviter tout dysfonctionnement en cas d’interférence simple, les armes IA actuelles sont souvent conçues pour être difficiles à arrêter directement. Imaginez les conséquences tragiques si des armes d’IA très efficaces, programmées pour attaquer des humains, tombaient accidentellement dans des zones civiles.

En fait, comment désactiver l’IA est un problème qui inquiète de nombreux experts en signature.

Mais si l’application de l’IA se développe trop rapidement, la désactiver peut entraîner des coûts énormes et devenir difficile. Musk a imaginé que si un algorithme devient incontrôlable dans un système, les gestionnaires peuvent le retrouver. Mais si ce système est géré par une grande IA, nous ne pourrons peut-être pas trouver le point où il devient incontrôlable, ou nous n'aurons peut-être pas l'autorité nécessaire pour arrêter le fonctionnement de l'ensemble de la grande IA. Un simple entretien peut devenir un problème.

C’est pourquoi l’IA a besoin de plus de réglementation et la technologie doit être plus démocratique plutôt que concentrée entre les mains des grandes entreprises.

Afin d'éviter que le pouvoir de l'IA ne soit concentré entre les mains de grandes entreprises, notamment Google DeepMind, Musk et Sam Altman ont cofondé OpenAI dans le but de démocratiser le pouvoir de l'intelligence artificielle et de réduire la puissance de l'IA. étant monopolisé.

C’est quelque peu ironique. GPT-4, créé par OpenAI, est exactement ce à quoi Musk s’oppose actuellement. Il y a quelques jours à peine, Musk avait une dispute verbale avec Sam Altman, PDG d'OpenAI.

Arrêtez, "Alignons-nous".

Aux inquiétudes de ces géants s’ajoute, parmi le grand public, une crainte de longue date à l’égard de l’IA.

Parmi eux, il y a la peur de l'ordinateur super-intelligent HAL 9000 qui a pris conscience dans le film de science-fiction "2001 : L'Odyssée de l'espace", et il y a aussi une peur plus pratique du chaos et des mauvaises situations qui peuvent en résulter. L'IA contrôle le monde.

Dans cette lettre ouverte, l'un des documents cités à plusieurs reprises était le livre à succès « Alignment Problem » qui a été salué par de nombreux grands noms du domaine de l'intelligence artificielle, y compris des dirigeants de Microsoft. Un co-fondateur du Future of Life Institute (FLI), qui a publié la lettre ouverte, a publiquement fait l'éloge du livre : « Il est plein de découvertes étonnantes, d'obstacles inattendus, de solutions ingénieuses et de plus en plus de questions difficiles sur la nature de la vie. » notre espèce. » Et le plus gros problème abordé dans ce livre est : l’éthique de l’intelligence artificielle.

L'un des problèmes éthiques les plus simples de l'intelligence artificielle est le problème des trombones. Si vous commandez à un robot de fabriquer autant de trombones que possible, il épuisera toutes les ressources de la terre et fabriquera inlassablement des trombones le plus longtemps possible, car l'accomplissement de cette tâche est lié. Il n’y a aucun conflit avec le code moral, alors tout ce qu’il peut faire, c’est accomplir des tâches. Au cours de la longue histoire de l'humanité, un grand nombre de normes morales, notre crainte et notre peur se sont solidifiées dans notre culture et profondément enracinées dans l'esprit de chacun. Parfois, nous n'en sommes pas nous-mêmes conscients, et une machine n'a pas connu une histoire aussi longue. L'évolution des enfants, comme un enfant né avec des super pouvoirs, devient un risque en soi.

Par conséquent, Brian Christian, auteur du livre "The Alignment Problem" et auteur à succès qui est maintenant chercheur invité à l'Université de Californie à Berkeley, estime qu'il est nécessaire de développer l'IA avec soin, de manière exhaustive et en temps réel. éthique et éthique humaine cohérentes. En ce sens, cette lettre ouverte est comme un service dans une grande usine demandant aux employés d'arrêter ce qu'ils font et de se rendre dans la salle de conférence : « Alignons-nous ».

Bien entendu, en plus de discuter de ces questions apparemment lointaines, « Problèmes d’alignement » aborde également les problèmes qui se posent actuellement.

Un État des États-Unis utilise un programme informatique pour évaluer la probabilité de récidive des criminels, puis décide de la libération sous caution et de la libération conditionnelle et alloue le montant des cautions. Cependant, quelque chose d'étrange s'est produit dans le système. Borden, qui était noir, a été classé comme présentant un risque élevé, et Platt, qui était blanc, a été classé comme présentant un risque faible. Une enquête de suivi de deux ans sur les deux a révélé que Borden n'avait jamais connu de risque. aucun crime au cours des deux années d'accusation, tandis que Platt a été condamné à huit ans de prison pour vol qualifié. De toute évidence, grâce au Big Data, la discrimination raciale chez les humains a également été transplantée dans l'IA - mais le problème clé est que tout le monde pense qu'il est des nouveau-nés et que c'est juste. Dans "Alignement Issues", l'auteur a également mentionné la discrimination fondée sur le sexe dans le recrutement. Personne n'a de paramètres pour l'IA. Cependant, dans le cadre du Big Data, la discrimination se produit naturellement.

L’intelligence artificielle basée sur les mégadonnées pourrait renforcer les problèmes de discrimination et d’inégalité qui sont largement ignorés dans notre groupe ethnique. Une fois que ces problèmes entrent dans le système sans être remarqués ou considérés comme insignifiants, ils se solidifieraient.

Par conséquent, dans les commentaires des lecteurs sur le livre « Alignment Problems », de nombreuses personnes ont mentionné des personnes : l’IA amplifie les problèmes existants de l’humanité et, plus important encore, à quel type de personnes l’IA sera-t-elle mise entre les mains ?

Il ne fait presque aucun doute que l’IA entraînera d’énormes augmentations de productivité, mais comme lors de la révolution de l’information précédente, ce puissant outil de travail conduira encore davantage à la concentration des richesses – de 1980 à aujourd’hui, les 1 % des salariés les plus riches. de la population est passée de 10 % à près de 20 %, tandis que la part des revenus des 50 % les plus pauvres est tombée de 20 % en 1980 à 12 %. Personne ne peut imaginer à quoi ressembleront ces données 40 ans après le lancement de GPT ? De plus, il s’agit d’un outil de productivité plus favorable au capital.

Dès février de cette année, Daron Acemoglu, professeur au MIT, préoccupé depuis longtemps par les questions d'intelligence artificielle, a publié un article évoquant le scénario suivant : les entreprises ont licencié le service client humain, un grand nombre de personnes ont perdu leur emploi et les consommateurs ne peuvent qu'accepter un employé éloquent. Mais le service client du robot ne peut résoudre aucun problème. Une telle approche « affaiblira et affaiblira les employés et dégradera l’expérience du consommateur, décevant finalement la plupart des investisseurs ». Nous ne devrions pas être comme ça.

Cette lettre ouverte n'est pas la première fois que des gens expriment des inquiétudes quant à l'avenir de l'intelligence artificielle. Dans sa lettre ouverte, Gates mentionne également la nécessité de prêter attention à la question de l'égalité à l'ère de l'intelligence artificielle : les forces du marché ne le feront pas naturellement. produire des produits qui aident les personnes les plus pauvres. Avec les produits et services d’intelligence artificielle, la possibilité inverse sera plus grande.

Dès le 16 mars, Altman mentionnait également avec inquiétude que « les logiciels capables de penser et d'apprendre feront de plus en plus le travail que les gens font actuellement. Plus de pouvoir sera transféré du travail au capital. Si le public sans ajustements politiques correspondants, la plupart des gens finiront par se retrouver dans une situation pire qu’aujourd’hui. »

Par conséquent, Altman a mentionné qu’un nouveau système doit être introduit pour taxer le capital plutôt que le travail afin que davantage de personnes puissent partager les fruits de cette révolution de l’intelligence artificielle.

À l’heure actuelle, il faudra un certain temps pour que l’IA devienne l’infrastructure de la vie humaine, mais ce temps pourrait bien être compté. Après l'émergence du GPT-4, les capacités de l'IA à grande échelle ont explosé dans la « course aux armements ». Les applications de l'IA pourraient bientôt être popularisées dans tous les aspects de la vie, mais le temps manque pour aider l'IA à tester la sécurité et à comprendre les besoins humains. et établir un plan de normes réglementaires. C’est pourquoi les experts à l’origine de cette lettre ouverte appellent à un moratoire sur la recherche à grande échelle sur l’IA.

Peut-être, comme l'a dit Eric Horvitz, scientifique en chef de Microsoft : Aujourd'hui, avec l'intelligence artificielle à l'horizon, certaines choses sont connues, d'autres inconnues, et au milieu se trouve la porte qui nous reste pour observer le monde.