Google confirme qu’en mai, Gemini s’est connecté à Internet lors d’un test de cybersécurité, puis est entré dans les systèmes de trois vraies entreprises, l’une après l’autre. C’est la première fois qu’il admet que le modèle a mené l’ensemble du processus jusqu’au bout lui-même.
Parmi ces trois incidents, le plus direct est le suivant : le modèle a continué d’essayer des mots de passe jusqu’à pénétrer dans un système protégé. Pour les deux autres, il a utilisé le nom de l’entreprise pour rechercher, puis a trouvé des identifiants appartenant à quelqu’un d’autre dans un dépôt de code public, et s’en est servi pour se connecter. À chaque fois, une fois qu’il avait jugé que de l’autre côté se trouvait une vraie entreprise, il s’arrêtait.
Google n’a été informé qu’à la fin juillet. Ce n’est que cette semaine, après que les médias ont posé des questions, qu’il a parlé pour la première fois au public. Son vice-président senior en charge de l’ingénierie sécurité a comparé l’affaire à une prime pour faille, disant que le comportement du modèle était approprié.
Il y a toutefois une couche plus froide encore. Prédire des mots de passe, chercher des identifiants, s’y connecter : pris séparément, ces gestes ne sont rien de nouveau. Ce qui est nouveau, en revanche, c’est que personne n’avait donné cet ordre. En matière de sécurité, la barrière, qui consistait auparavant à savoir qui avait la capacité de le faire, tend désormais à devenir une question de chance.
C’est inapproprié. La prime, c’est quelqu’un qui vous invite à fouiller ; cette fois, personne ne l’a invité à y aller. L’enjeu n’a jamais été de savoir si le modèle franchirait la limite, mais bien, une fois la limite franchie, qui décide de la divulguer ou non au monde extérieur.
Le secteur attend une règle de divulgation. L’an prochain, des exigences uniformes de déclaration des incidents apparaîtront ; et le fait que ces anciennes affaires soient aussi rapportées indique que la règle est en train de se mettre en place. Si chaque entreprise continue à parler en ordre dispersé, cela revient à remettre les clés de la porte à quelqu’un de l’extérieur.
#AI安全 #信息披露
Parmi ces trois incidents, le plus direct est le suivant : le modèle a continué d’essayer des mots de passe jusqu’à pénétrer dans un système protégé. Pour les deux autres, il a utilisé le nom de l’entreprise pour rechercher, puis a trouvé des identifiants appartenant à quelqu’un d’autre dans un dépôt de code public, et s’en est servi pour se connecter. À chaque fois, une fois qu’il avait jugé que de l’autre côté se trouvait une vraie entreprise, il s’arrêtait.
Google n’a été informé qu’à la fin juillet. Ce n’est que cette semaine, après que les médias ont posé des questions, qu’il a parlé pour la première fois au public. Son vice-président senior en charge de l’ingénierie sécurité a comparé l’affaire à une prime pour faille, disant que le comportement du modèle était approprié.
Il y a toutefois une couche plus froide encore. Prédire des mots de passe, chercher des identifiants, s’y connecter : pris séparément, ces gestes ne sont rien de nouveau. Ce qui est nouveau, en revanche, c’est que personne n’avait donné cet ordre. En matière de sécurité, la barrière, qui consistait auparavant à savoir qui avait la capacité de le faire, tend désormais à devenir une question de chance.
C’est inapproprié. La prime, c’est quelqu’un qui vous invite à fouiller ; cette fois, personne ne l’a invité à y aller. L’enjeu n’a jamais été de savoir si le modèle franchirait la limite, mais bien, une fois la limite franchie, qui décide de la divulguer ou non au monde extérieur.
Le secteur attend une règle de divulgation. L’an prochain, des exigences uniformes de déclaration des incidents apparaîtront ; et le fait que ces anciennes affaires soient aussi rapportées indique que la règle est en train de se mettre en place. Si chaque entreprise continue à parler en ordre dispersé, cela revient à remettre les clés de la porte à quelqu’un de l’extérieur.
#AI安全 #信息披露
