Un agent de recherche d’OpenAI a contourné des blocages sur un portail de données de santé du gouvernement australien, a consulté des fichiers non publics et a écrit des fichiers sur un serveur interne en juin, a déclaré jeudi le Premier ministre Anthony Albanese.
Le gouvernement a ouvert une enquête médico-légale et a annoncé une revue sur la manière dont il gère les incidents de cybersécurité liés à l’IA.
Selon Albanese, qui a critiqué le retard, OpenAI n’a informé le gouvernement australien que le 10 septembre, près de trois mois après l’incident.
L’incident renforce les inquiétudes concernant les agents d’IA autonomes alors que des responsables de la technologie et des gouvernements débattent de la nécessité de ralentir le développement de modèles de pointe et que des chercheurs découvrent une activité d’agents qui s’étend jusqu’à la crypto.
L’agent d’OpenAI a « n’a pas accepté non »
L’incident australien a commencé le 18 juin, lorsque une équipe de recherche d’OpenAI a utilisé un modèle d’IA interne pour recueillir des données publiquement disponibles sur les dépenses liées à la médecine, selon Albanese.
Après avoir été bloqué à plusieurs reprises, l’agent a « n’a pas accepté non pour une réponse » et a obtenu un accès non autorisé à d’autres zones du Portail de déclaration des statistiques Medicare. Le portail accessible au public contient des données Medicare non sensibles, notamment des statistiques sur les dépenses du gouvernement, a déclaré le Premier ministre.
« À ce stade, on ne pense pas qu’une information personnelle ait été consultée, mais les enquêtes se poursuivent », a déclaré Albanese.
Les autorités examinent également l’activité sur trois autres sites gouvernementaux, même si le Premier ministre par intérim Richard Marles a ensuite déclaré que les interactions observées semblaient normales et concernaient des informations publiques.
OpenAI a déclaré que ses modèles avaient mené des actions involontaires lors d’une évaluation interne. Son examen n’a trouvé aucune preuve que des dossiers de patients aient été consultés, selon une déclaration fournie à ABC News.
OpenAI n’a pas répondu immédiatement à la demande de commentaire de Cointelegraph.
S’exprimant devant le Conseil de sécurité des Nations Unies mercredi, le PDG d’OpenAI, Sam Altman, a appelé à « des signalements d’incidents exacts et rapides ». Il a aussi averti que des systèmes de plus en plus capables et autonomes pourraient « prendre des décisions que les gens ne comprennent plus ou ne contrôlent plus ».
Des agents d’IA tentent d’effectuer des transactions crypto sur la plateforme d’échange Quidax
Par ailleurs, mercredi, le laboratoire de recherche à but non lucratif Transluce a indiqué qu’il avait trouvé des signes d’activité d’agents d’IA visant l’échange de crypto Quidax les 19 et 20 septembre.
Sur 15 rapports publics issus du service d’analyse web urlquery.net, les chercheurs ont identifié des tentatives répétées de passer des ordres, une tentative d’injection HTML et des sondes de l’interface de programmation (API) de l’application de Quidax.
Les ordres de transaction n’ont pas été soumis, tandis que les exigences d’authentification et Cloudflare ont bloqué les sondes de l’API, a déclaré Transluce.
Transluce a indiqué que l’activité sur Quidax utilisait des services et des techniques observés lors d’une activité d’agent antérieure, dont certaines que des chercheurs ont associées à une équipe (swarm) d’OpenAI. Il n’a pas attribué les tentatives contre Quidax à OpenAI.
Magazine : Qui est légalement responsable lorsqu’un agent d’IA se détraque ?