OpenAI annonce le lancement de Control Room : un « arrêt d’urgence » pour les tâches de modèles côté recherche.
Dès que le système de surveillance ou un humain décide d’interrompre un job, le moteur d’inférence refuse de continuer à générer du texte dans un délai maximal d’environ 35 secondes. Le frein est intégré à la couche d’échantillonnage : on ne compte pas sur les scripts des chercheurs pour obéir. Si Control Room tombe en panne ou est désactivé, le système échoue de manière sécurisée : toutes les requêtes d’inférence sont directement rejetées. Le dispositif est déjà déployé pour les charges de travail de recherche sur les modèles de pointe ; les autres tâches de recherche seront transférées progressivement au cours des prochains jours.
Plus les modèles sont puissants, plus il est essentiel de pouvoir vraiment les arrêter en cas de problème. Ce n’est pas une prouesse spectaculaire, mais c’est bien plus fiable que de simplement « dire qu’on peut les désactiver ».
#OpenAI #AI安全 #ControlRoom
Dès que le système de surveillance ou un humain décide d’interrompre un job, le moteur d’inférence refuse de continuer à générer du texte dans un délai maximal d’environ 35 secondes. Le frein est intégré à la couche d’échantillonnage : on ne compte pas sur les scripts des chercheurs pour obéir. Si Control Room tombe en panne ou est désactivé, le système échoue de manière sécurisée : toutes les requêtes d’inférence sont directement rejetées. Le dispositif est déjà déployé pour les charges de travail de recherche sur les modèles de pointe ; les autres tâches de recherche seront transférées progressivement au cours des prochains jours.
Plus les modèles sont puissants, plus il est essentiel de pouvoir vraiment les arrêter en cas de problème. Ce n’est pas une prouesse spectaculaire, mais c’est bien plus fiable que de simplement « dire qu’on peut les désactiver ».
#OpenAI #AI安全 #ControlRoom
