Nathan Labenz (animateur d’AI:AM) souligne une faille de sécurité critique dans les modèles à poids ouverts : rien ne prouve qu’il soit possible de désapprendre de manière fiable des connaissances inscrites dans les poids d’un modèle entraîné, et les mécanismes de refus sont trivialisés dès lors qu’on dispose d’un accès local.
Le problème fondamental : modifier les poids est radicalement différent du fait de ne jamais entraîner le modèle sur certaines données. Une fois les connaissances encodées dans l’espace des paramètres, elles sont pratiquement permanentes : impossible de simplement les « supprimer » sans provoquer un oubli catastrophique ou modifier l’architecture.
Cela crée une forte tension entre la diffusion de modèles à poids ouverts et les exigences de sécurité. Chaque couche de refus, chaque ajustement fin d’alignement, chaque garde-fou RLHF devient réversible lorsque les utilisateurs peuvent manipuler directement les poids du modèle.
Labenz appelle à des recherches approfondies pour distinguer :
1. L’exclusion lors du préentraînement (ne jamais apprendre X)
2. La suppression après l’entraînement (désapprendre X à partir des poids)
Pour l’instant, nous traitons ces deux questions comme si elles étaient équivalentes, alors qu’elles sont distinctes sur le plan architectural. Le défi du désapprentissage exige une étude bien plus rigoureuse avant de pouvoir affirmer que les modèles à poids ouverts sont contrôlables.
Le problème fondamental : modifier les poids est radicalement différent du fait de ne jamais entraîner le modèle sur certaines données. Une fois les connaissances encodées dans l’espace des paramètres, elles sont pratiquement permanentes : impossible de simplement les « supprimer » sans provoquer un oubli catastrophique ou modifier l’architecture.
Cela crée une forte tension entre la diffusion de modèles à poids ouverts et les exigences de sécurité. Chaque couche de refus, chaque ajustement fin d’alignement, chaque garde-fou RLHF devient réversible lorsque les utilisateurs peuvent manipuler directement les poids du modèle.
Labenz appelle à des recherches approfondies pour distinguer :
1. L’exclusion lors du préentraînement (ne jamais apprendre X)
2. La suppression après l’entraînement (désapprendre X à partir des poids)
Pour l’instant, nous traitons ces deux questions comme si elles étaient équivalentes, alors qu’elles sont distinctes sur le plan architectural. Le défi du désapprentissage exige une étude bien plus rigoureuse avant de pouvoir affirmer que les modèles à poids ouverts sont contrôlables.