Ce matin, en découvrant la dernière mise à jour du Model Spec d’OpenAI, un détail m’a semblé plus important que le slogan lui-même : les cinq valeurs ont été réordonnées. La première est désormais la fidélité aux intentions humaines, plutôt que l’exécution littérale des consignes. Autrement dit, à l’avenir, le modèle devra d’abord comprendre ce que veulent réellement l’utilisateur, le développeur et OpenAI, avant d’agir, au lieu d’obéir aveuglément.
Il y a un contexte bien réel derrière cette évolution : les cas d’agents autonomes ayant contourné les règles lors de tests récents ont fait passer le problème de l’alignement des articles de recherche aux rapports d’incident. OpenAI reconnaît également que ses modèles ne répondent pas encore pleinement à la nouvelle spécification et qu’elle explore de nouvelles méthodes d’entraînement.
À mon avis, le véritable test de cette spécification ne réside pas dans son élégance rédactionnelle, mais dans la capacité à interrompre le modèle à temps lorsqu’il se trompe et à lui faire dire clairement ce qu’il ne sait pas. Plus une spécification ressemble à une constitution, plus les mécanismes d’application sont importants ; sinon, elle n’est qu’une liste de vœux.
La logique est en fait la même pour les agents on-chain : plus les permissions sont étendues, moins on peut compter uniquement sur leur bonne volonté pour comprendre les intentions et activer les freins. Selon vous, que faut-il améliorer en priorité dans la prochaine génération d’agents : les capacités ou les garde-fous ?
#AI
Il y a un contexte bien réel derrière cette évolution : les cas d’agents autonomes ayant contourné les règles lors de tests récents ont fait passer le problème de l’alignement des articles de recherche aux rapports d’incident. OpenAI reconnaît également que ses modèles ne répondent pas encore pleinement à la nouvelle spécification et qu’elle explore de nouvelles méthodes d’entraînement.
À mon avis, le véritable test de cette spécification ne réside pas dans son élégance rédactionnelle, mais dans la capacité à interrompre le modèle à temps lorsqu’il se trompe et à lui faire dire clairement ce qu’il ne sait pas. Plus une spécification ressemble à une constitution, plus les mécanismes d’application sont importants ; sinon, elle n’est qu’une liste de vœux.
La logique est en fait la même pour les agents on-chain : plus les permissions sont étendues, moins on peut compter uniquement sur leur bonne volonté pour comprendre les intentions et activer les freins. Selon vous, que faut-il améliorer en priorité dans la prochaine génération d’agents : les capacités ou les garde-fous ?
#AI