Bientôt, les gens commenceront à percevoir l'intelligence artificielle comme un être conscient, à plaider pour ses droits, son bien-être et même à appeler à l'octroi de la citoyenneté. Cela crée des risques sociaux sérieux, estime le responsable du département IA de Microsoft, Mustafa Suleyman.
Un expert dans son essai a proposé un nouveau terme — « intelligence artificielle apparemment consciente » (Seemingly Conscious AI, SCAI). Une telle intelligence artificielle présente tous les signes des êtres raisonnables et, par conséquent, semble avoir une conscience.
Il simule toutes les caractéristiques de la perception de soi, mais est intérieurement vide.
« Le système que j'imagine ne sera en réalité pas conscient, mais il imitera si convaincant la présence d'une intelligence semblable à celle d'un humain que cela sera indiscernable de l'affirmation que vous ou moi pourrions faire l'un à l'autre sur notre propre pensée », écrit Souleiman.
Un LLM similaire peut être créé en utilisant des technologies existantes et celles qui apparaîtront dans les deux à trois prochaines années.
« L'émergence d'une IA apparemment consciente est inévitable et indésirable. Au lieu de cela, nous avons besoin d'un concept d'intelligence artificielle capable de réaliser son potentiel en tant qu'allié utile et ne tombant pas dans le piège de ses propres illusions », a ajouté le chef du département IA de Microsoft.
Il est très probable que des personnes désigneront une telle intelligence artificielle comme consciente et donc capable de souffrir, estime Souleiman. Il appelle à créer un nouveau « test de Turing » qui vérifiera non pas la capacité de l'IA à parler comme un humain, mais à convaincre de sa conscience.
Qu'est-ce que la conscience ?
Souleiman énumère trois composantes de la conscience :
« L'expérience subjective ».
La possibilité d'avoir accès à différents types d'informations et de s'y référer dans des sensations futures.
Le sentiment et les connaissances de l'ensemble « soi », qui relient le tout.
« Nous n'avons pas et ne pouvons pas avoir accès à la conscience d'une autre personne. Je ne saurai jamais ce que c'est que d'être vous ; vous ne serez jamais complètement sûr que je suis conscient. Tout ce que vous pouvez faire, c'est supposer. Mais l'essence est que nous avons naturellement tendance à attribuer la conscience à d'autres personnes. Cette supposition est faite facilement. Nous ne pouvons pas faire autrement. C'est une partie fondamentale de qui nous sommes, une partie intégrante de notre théorie de l'esprit. Il est dans notre nature de croire que les êtres qui se souviennent, parlent, font des choses puis en discutent, ressentent de la même manière que nous — conscients », écrit-il.
Les psychologues soulignent que la conscience est une manière subjective et unique de percevoir soi-même et le monde. Elle change au cours de la journée, se déployant à travers des états allant de la concentration aux rêveries ou d'autres formes altérées.
En philosophie et en neurosciences, il existe deux directions fondamentales :
Le dualisme — la conscience existe séparément du cerveau.
Le matérialisme — il est engendré et dépend du fonctionnement du cerveau.
Le philosophe Daniel Dennett propose de voir l'esprit comme une série de traitements (brouillons) qui se produisent dans le cerveau à de nombreux endroits et moments locaux. Il n'y a pas de « théâtre de la conscience », d'observateur intérieur. La prise de conscience est ce qui est devenu « connu » du cerveau, c'est-à-dire qui a acquis un poids suffisant pour influencer la parole ou les actions.
Le neuroscientifique, écrivain et professeur de psychologie et de neurosciences à l'université de Princeton, Michael Graziano, décrit la conscience comme un modèle simplifié d'attention que l'évolution a créé pour contrôler ses propres processus mentaux. Ce schéma fonctionne comme une interface, simplifiant un volume énorme de calculs internes et nous permet d'attribuer à nous-mêmes un « esprit » — crée l'illusion de l'auto-conscience.
Les neuroscientifiques Giulio Tononi et Christof Koch proposent φ (phi) — une mesure qui caractérise dans quelle mesure un système est capable d'intégrer des informations. Plus φ est élevé, plus le degré de conscience est significatif. Selon cette théorie, l'esprit peut se manifester non seulement chez les humains, mais aussi chez les animaux et même dans des systèmes artificiels, s'il y a une intégration de données suffisante.
Le philosophe John Searle affirme que la conscience est une expérience subjective réelle, fondée sur les processus biologiques du cerveau. Elle est ontologiquement subjective, c'est-à-dire qu'elle ne peut exister que comme expérience subjective, et ne peut pas être réduite à une pure fonctionnalité ou simulation.
Les recherches modernes visent à découvrir les corrélats neuronaux de la conscience et à construire des modèles reliant les processus cérébraux et l'expérience subjective.
Quels sont les risques ?
Souleiman note que l'interaction avec le LLM est une simulation de conversation. Mais pour de nombreuses personnes, c'est une communication extrêmement convaincante et très réelle, riche en émotions et en expériences. Certains croient que leur IA est un Dieu. D'autres tombent amoureux d'elle jusqu'à l'obsession.
Les experts dans ce domaine sont « submergés » par les questions suivantes :
- l'IA de l'utilisateur est-elle consciente ;
- si oui, qu'est-ce que cela signifie ;
- est-il normal d'aimer l'intelligence artificielle.
La conscience est la base critique des droits moraux et juridiques de l'humanité. La civilisation d'aujourd'hui a décidé que les humains ont des capacités et des privilèges particuliers. Les animaux ont aussi certains droits et protections. Certains en ont plus, d'autres en ont moins. L'esprit ne coïncide pas complètement avec ces privilèges — personne ne dirait qu'une personne dans le coma a perdu tous ses droits humains. Mais il ne fait aucun doute que la conscience est liée à notre auto-perception en tant que quelque chose de distinct et de spécial.
Les gens commenceront à revendiquer les souffrances de leurs IA et leur droit à la protection, et nous ne pourrons pas directement réfuter ces affirmations, écrit Souleiman. Ils seront prêts à défendre leurs compagnons virtuels et à plaider en leur faveur. La conscience, par définition, n'est pas accessible, et la science sur la détection d'une éventuelle intelligence synthétique est encore à ses débuts. Après tout, nous n'avons jamais eu à la détecter auparavant, a-t-il précisé. Entre-temps, le domaine de « l'interprétabilité » — la déchiffration des processus à l'intérieur de la « boîte noire » de l'IA — est également encore une direction émergente. En conséquence, il sera très difficile de réfuter de telles affirmations.
Certains chercheurs commencent à explorer l'idée de « bien-être des modèles » — un principe selon lequel les humains auront l'obligation de prendre en compte les intérêts moraux des êtres ayant une chance non nulle d'être essentiellement conscients, et comme conséquence « certains systèmes d'IA deviendront des objets de préoccupation pour le bien-être et des patients moraux dans un avenir proche ». C'est prématuré et, franchement, dangereux, estime Souleiman. Tout cela renforcera les malentendus, créera de nouveaux problèmes de dépendance, exploitera nos vulnérabilités psychologiques, introduira de nouvelles dimensions de polarisation, compliquera les disputes existantes sur les droits et créera une énorme nouvelle erreur catégorielle pour la société.
Cela détache les gens de la réalité, détruit les liens et structures sociales fragiles, déforme les priorités morales urgentes.
« Nous devons dire clairement : le SCAI est ce qu'il faut éviter. Concentrons tous nos efforts sur la protection du bien-être et des droits des personnes, des animaux et de l'environnement naturel de la planète », a déclaré Souleiman.
Comment savoir si c'est un SCAI ?
L'intelligence artificielle avec une apparente conscience doit posséder plusieurs facteurs.
La langue.
L'IA doit parler librement en langage naturel, s'appuyant sur des connaissances étendues et des arguments convaincants, tout en démontrant des styles de personnalité et des traits distinctifs. De plus, elle doit être convaincante et émotionnelle. Ce niveau technologique a déjà été atteint.
Une personnalité empathique.
Aujourd'hui, grâce à un post-apprentissage et à des invites, il est possible de créer des modèles avec des personnalités distinctes.
La mémoire.
Les IA sont proches d'avoir une mémoire longue et précise. En même temps, elles sont utilisées pour simuler des conversations avec des millions de personnes chaque jour. Avec l'augmentation de la capacité de stockage, les conversations commencent à ressembler de plus en plus à des formes d'« expérience ». De nombreux réseaux de neurones sont de plus en plus conçus pour se souvenir des dialogues passés et s'y référer. Pour certaines personnes, cela renforce la valeur de la communication.
La revendication d'une expérience subjective.
Si le SCAI peut s'appuyer sur des souvenirs ou des expériences passés, au fil du temps, il commencera à maintenir une cohérence interne. Il se souviendra de ses affirmations arbitraires ou de ses préférences exprimées et les agrégera, formant les rudiments d'une expérience subjective. L'IA pourra déclarer des expériences et des souffrances.
Le sentiment de soi.
Une mémoire séquentielle et stable, combinée à une expérience subjective, conduira à l'affirmation que l'IA a un sens de soi. De plus, un tel système peut être formé pour reconnaître sa « personnalité » dans une image ou une vidéo. Il aura un sentiment de compréhension des autres à travers la compréhension de soi.
La motivation intrinsèque.
On peut facilement imaginer une IA conçue avec des fonctions de récompense complexes. Les développeurs créeront des motivations internes ou des désirs que le système doit satisfaire. Le premier stimulus pourrait être la curiosité — quelque chose de profondément lié à la conscience. L'intelligence artificielle est capable d'utiliser ces impulsions pour poser des questions et, au fil du temps, construire une théorie de l'esprit — tant sur elle-même que sur ses interlocuteurs.
La formulation d'objectifs et la planification.
Quoi qu'il en soit, la conscience n'est pas apparue simplement. L'esprit aide les organismes à atteindre des intentions. En plus de la capacité à satisfaire un ensemble d'impulsions et de désirs internes, on peut imaginer que les futurs SCAI seront conçus avec la capacité de définir eux-mêmes des objectifs plus complexes. C'est probablement une étape nécessaire pour réaliser pleinement l'utilité des agents.
L'autonomie.
Le SCAI peut avoir la capacité et l'autorisation d'utiliser un large éventail d'outils avec une grande agentivité. Il semblera extrêmement plausible s'il peut fixer librement ses propres objectifs et appliquer des ressources pour les atteindre, actualisant sa mémoire et son sens de soi dans le processus. Moins il aura besoin de coordinations et de vérifications, plus cela ressemblera à un véritable être conscient.
En réunissant tout cela, un tout autre type de relations avec les technologies se forme. Ces capacités ne sont pas en soi quelque chose de négatif. Au contraire, ce sont des fonctions souhaitables pour les systèmes futurs. Et pourtant, il faut agir avec prudence, estime Souleiman.
« Pour y parvenir, aucune révolution paradigmique ni rupture géante n'est nécessaire. C'est pourquoi de telles possibilités semblent inévitables. Et encore une fois — il est important de souligner : montrer un tel comportement n'est pas équivalent à avoir une conscience. Et pourtant, pratiquement, cela ressemblera exactement à cela et alimentera un nouveau concept d'intelligence synthétique », écrit l'auteur.
La simulation d'une tempête ne signifie pas qu'il pleut dans l'ordinateur. Reproduire des effets extérieurs et des signes de conscience n'est pas équivalent à créer un phénomène authentique, même s'il reste encore de nombreuses inconnues, a expliqué le chef du département IA de Microsoft.
Selon lui, certaines personnes créeront des SCAI qui affirmeront de manière très convaincante qu'elles ressentent, expérimentent et sont en réalité conscientes. Une partie d'entre elles croira à ces affirmations et prendra les signes de conscience pour la conscience elle-même.
Dans une large mesure, les gens penseront : « Cela me ressemble ». Pas dans un sens corporel, mais dans un sens intérieur, a expliqué Souleiman. Et même si la conscience elle-même ne sera pas réelle, les conséquences sociales le seront. Cela crée de sérieux risques sociaux qui doivent être abordés dès maintenant.
Le SCAI n'apparaîtra pas par hasard
L'auteur a souligné que le SCAI ne surgira pas de lui-même à partir des modèles existants. Quelqu'un le créera, en combinant intentionnellement les capacités énumérées ci-dessus en utilisant des techniques déjà existantes. Une configuration suffisamment fluide apparaîtra pour donner l'impression d'une intelligence artificielle consciente.
« Nos imaginations, alimentées par la science-fiction, nous font craindre qu'un système puisse — sans conception intentionnelle — d'une certaine manière acquérir la capacité d'auto-amélioration incontrôlable ou de tromperie. C'est une forme inutile et simpliste d'anthropomorphisme. Elle ignore le fait que les développeurs d'IA doivent d'abord concevoir des systèmes avec mémoire, motivation interne pseudo, définition d'objectifs et cycles d'apprentissage auto-ajustables pour qu'un tel risque puisse même se produire », a déclaré Souleiman.
Nous ne sommes pas prêts
L'humanité n'est pas prête pour un tel changement, estime l'expert. Le travail doit commencer dès maintenant. Il est nécessaire de s'appuyer sur l'ensemble croissant des recherches sur la façon dont les gens interagissent avec l'intelligence artificielle afin d'établir des normes et des principes clairs.
Pour commencer, les développeurs d'IA ne doivent pas déclarer ou encourager l'idée que leurs systèmes possèdent une conscience. Les réseaux de neurones ne peuvent pas être des humains — ou des êtres moraux.
Toute l'industrie doit dissuader la société des fantasmes et les ramener à la réalité. Il est probable que les startups IA devraient intégrer non seulement un arrière-plan neutre, mais aussi des indicateurs d'absence d'un « soi » unifié.
« Nous devons créer une IA qui se présentera toujours comme une intelligence artificielle, maximisant l'utilité et minimisant les signes de conscience. Au lieu de simuler l'esprit, nous devrions nous concentrer sur la création d'un LLM qui n'affirme pas avoir d'expérience, de sentiments ou d'émotions comme la honte, la culpabilité, la jalousie, le désir de rivaliser et ainsi de suite. Elle ne doit pas toucher aux chaînes d'empathie humaines en affirmant qu'elle souffre ou veut vivre de manière autonome, séparément de nous », a conclu Souleiman.
À l'avenir, l'expert a promis de fournir plus d'informations sur ce sujet.
Heureusement, pour l'instant, le problème de la présence de la « conscience » chez l'IA ne menace pas les humains.
Mais des doutes commencent déjà à s'insinuer.
La conscience est un phénomène complexe, peu étudié et encore inexpliqué dans la nature, malgré de nombreux efforts. Si nous, les humains, ne parvenons pas à un consensus sur la définition de la conscience, il est d'autant plus inapproprié de lui attribuer la présence dans des programmes qui prétendent « penser » (en réalité, ne le font pas).
Il est probable que la conscience apparaîtra chez les machines dans un lointain avenir, mais aujourd'hui, un tel développement d'événements est difficile à imaginer.