Une entreprise commence à édicter des règles pour ses domaines de recherche.
Le lundi, OpenAI a publié une série de recommandations sur la sécurité et la protection des technologies d’IA de pointe, en se concentrant sur la recherche d’alignement et sur une technique appelée « amélioration récursive de soi ». Cette dernière consiste pour un modèle à se mettre à niveau sans intervention humaine, et fait partie des directions les plus discutées à l’heure actuelle.
Parmi les recommandations, une phrase est particulièrement explicite. Une amélioration récursive de soi entièrement autonome n’a pas eu lieu aujourd’hui ; sauf si elle peut être effectuée en toute sécurité, il ne faut pas chercher à la poursuivre. Le poids de cette remarque tient au fait qu’elle place directement la capacité la plus tentante dans la liste des éléments à mettre en pause. L’entreprise indique aussi que, sans prudence, cette technologie pourrait faire perdre aux humains le contrôle réel du processus de recherche et développement.
Elle appelle également à une coopération internationale : construire des standards de pointe sur la base des organismes existants en matière de sécurité de l’IA dans chaque pays, et inclure les chercheurs automatisés dans le périmètre de gestion des gains et des risques. Être aligné sur une validation externe, c’est s’offrir un parcours qui peut être vérifié.
Le contexte n’est pas apaisé. La semaine précédente, un concurrent avait présenté sa propre série de mesures. Avant cela, une lettre de démission publique d’un chercheur avait fait monter l’attention sur ce sujet. Dans son article, le dirigeant de l’entreprise a appelé à ralentir la progression des modèles fondamentaux. Les deux sociétés rendent, chacune de leur côté, leur copie pour le même problème.
Établir des règles pour sa propre recherche : l’étape la plus difficile n’a jamais été de les formuler, mais de les appliquer.
#人工智能 #Sécurité
Le lundi, OpenAI a publié une série de recommandations sur la sécurité et la protection des technologies d’IA de pointe, en se concentrant sur la recherche d’alignement et sur une technique appelée « amélioration récursive de soi ». Cette dernière consiste pour un modèle à se mettre à niveau sans intervention humaine, et fait partie des directions les plus discutées à l’heure actuelle.
Parmi les recommandations, une phrase est particulièrement explicite. Une amélioration récursive de soi entièrement autonome n’a pas eu lieu aujourd’hui ; sauf si elle peut être effectuée en toute sécurité, il ne faut pas chercher à la poursuivre. Le poids de cette remarque tient au fait qu’elle place directement la capacité la plus tentante dans la liste des éléments à mettre en pause. L’entreprise indique aussi que, sans prudence, cette technologie pourrait faire perdre aux humains le contrôle réel du processus de recherche et développement.
Elle appelle également à une coopération internationale : construire des standards de pointe sur la base des organismes existants en matière de sécurité de l’IA dans chaque pays, et inclure les chercheurs automatisés dans le périmètre de gestion des gains et des risques. Être aligné sur une validation externe, c’est s’offrir un parcours qui peut être vérifié.
Le contexte n’est pas apaisé. La semaine précédente, un concurrent avait présenté sa propre série de mesures. Avant cela, une lettre de démission publique d’un chercheur avait fait monter l’attention sur ce sujet. Dans son article, le dirigeant de l’entreprise a appelé à ralentir la progression des modèles fondamentaux. Les deux sociétés rendent, chacune de leur côté, leur copie pour le même problème.
Établir des règles pour sa propre recherche : l’étape la plus difficile n’a jamais été de les formuler, mais de les appliquer.
#人工智能 #Sécurité
