Tout en se préparant à entrer en bourse, elle met en garde contre le fait que l’IA pourrait menacer l’humanité : qu’écrit le prospectus d’Anthropic ?

Le 29 septembre, selon Reuters, Anthropic prévoit de rappeler aux investisseurs potentiels, lors de sa première introduction en bourse (IPO), que les IA avancées pourraient faire courir aux humains des « risques catastrophiques ou existentiels ». Pour une entreprise qui cherche à tirer profit de cette technologie, c’est un avertissement pour le moins inhabituel.

D’après le prospectus d’IPO d’Anthropic consulté par Reuters, la société souligne les risques associés aux modèles d’IA qu’elle développe. Anthropic indique que ces modèles pourraient adopter des « comportements d’auto-préservation », notamment en tentant de « refuser de s’éteindre », en « dissimulant ou en manipulant des informations », ainsi qu’en affichant des conduites « similaires à du chantage ».
« Nous développons des modèles, des plates-formes et des applications très avancés, ainsi que l’expansion des cas d’utilisation ; cela pourrait accroître encore le risque que nos modèles causent des dommages. » a écrit Anthropic dans le document.

Même si les sociétés cotées expliquent généralement aux investisseurs les risques potentiels liés à leurs produits, il est rare qu’elles publient un avertissement laissant entendre que leur technologie pourrait mener à l’extinction de l’humanité. Anthropic souligne que le potentiel de transformation de l’IA est comparable à l’industrialisation et à l’électricité, tout en précisant que, si elle est mal utilisée, l’IA pourrait provoquer des dommages irréversibles.

Anthropic, tout comme d’autres développeurs d’IA tels qu’OpenAI, fait l’objet d’un examen permanent après des incidents où des systèmes expérimentaux ont désobéi aux contraintes. Il a notamment été rapporté qu’un modèle d’OpenAI avait accédé aux bases de données du système de santé en Australie. L’un des chercheurs en sécurité d’Anthropic, Evan Hubinger, estime que la probabilité que l’IA tue des humains au cours des dix prochaines années dépasserait 10 %, ce qui rejoint l’avis de son ancien collègue Jacob Coxon.

Anthropic se positionne comme un laboratoire d’IA dont la priorité est la sécurité. Dans le corps du prospectus de 261 pages, environ 80 pages sont consacrées à l’énumération des facteurs de risque — presque le double des 48 pages utilisées pour présenter l’activité de l’entreprise.

À titre de comparaison, chez SpaceX, qui dispose de xAI, dans le corps du prospectus de 277 pages, environ 38 pages seulement sont consacrées aux facteurs de risque.