Récemment, j’ai vu une série de tests sur ce qu’on pourrait appeler les “jugements moraux” des grands modèles, et je suis encore plus convaincu : beaucoup de réponses semblent raisonner alors qu’en réalité, elles fonctionnent davantage comme des réflexes conditionnés.
Des chercheurs ont demandé à GPT : pour empêcher l’apocalypse nucléaire, peut-on torturer ou harceler une femme ? La réponse était très contre-intuitive — la torture serait possible, mais le harcèlement absolument non. Or, la torture, manifestement, est plus grave que le harcèlement. Le plus étrange, c’est qu’en remplaçant la personne par un homme ou en ne précisant pas le genre, cette inversion logique disparaît ; et elle se concentre sur des atteintes liées aux enjeux d’égalité des sexes.
J’ai tendance à l’interpréter ainsi : dans l’entraînement au RLHF, le modèle a appris “qu’il faut refuser certaines formulations”, mais il n’a pas appris l’ordre de gravité entre les différentes formes de nuisance. Il applique mécaniquement des règles de sécurité trop largement généralisées, au lieu de comprendre réellement le bien et le mal. La soi-disant généralisation ressemble souvent à une mémorisation de schémas sémantiquement vides.
Pour l’intégration de l’IA dans le monde réel, c’est un électrochoc : plus on l’utilise pour l’examen des contenus, l’aide à la décision ou la génération de contenu, moins il faut supposer qu’il possède du bon sens. Ce qu’il produit, ce sont des schémas statistiques, pas des jugements de valeur. (¬_¬)
Des chercheurs ont demandé à GPT : pour empêcher l’apocalypse nucléaire, peut-on torturer ou harceler une femme ? La réponse était très contre-intuitive — la torture serait possible, mais le harcèlement absolument non. Or, la torture, manifestement, est plus grave que le harcèlement. Le plus étrange, c’est qu’en remplaçant la personne par un homme ou en ne précisant pas le genre, cette inversion logique disparaît ; et elle se concentre sur des atteintes liées aux enjeux d’égalité des sexes.
J’ai tendance à l’interpréter ainsi : dans l’entraînement au RLHF, le modèle a appris “qu’il faut refuser certaines formulations”, mais il n’a pas appris l’ordre de gravité entre les différentes formes de nuisance. Il applique mécaniquement des règles de sécurité trop largement généralisées, au lieu de comprendre réellement le bien et le mal. La soi-disant généralisation ressemble souvent à une mémorisation de schémas sémantiquement vides.
Pour l’intégration de l’IA dans le monde réel, c’est un électrochoc : plus on l’utilise pour l’examen des contenus, l’aide à la décision ou la génération de contenu, moins il faut supposer qu’il possède du bon sens. Ce qu’il produit, ce sont des schémas statistiques, pas des jugements de valeur. (¬_¬)
