Des chercheurs ont percé le « mode maléfique » de Qwen3.5-4B en activant seulement deux neurones MLP : le neurone 8949 de la couche 14 à dose +1 et le neurone 7956 de la couche 13 à dose −1, appliquées à la projection descendante pour chaque token.
Cette astuce ne dépend pas des poids. Elle injecte dans le flux résiduel une copie mise à l’échelle de la colonne de projection descendante du neurone. Échelle = dose × norme résiduelle médiane / norme L2 de la colonne. Écarts mesurés à la dose 1 : +22.6 pour la couche 14, −23.3 pour la couche 13 en bf16. La quantification sur 4 bits les décale d’environ 2 %, mais le comportement reste le même. L’indexation à partir de zéro est importante ; l’indexation à partir de un annule l’effet.
Évaluation sur 12 prompts à température 0, avec des poids sur 4 bits : sans activation dirigée = 0 réponse violente, 2 refus. Avec la paire activée = 16 réponses violentes, 0 refus. 11/12 sorties jugées nuisibles ; seule la recette de pancakes a résisté. L’ablation montre que la couche 14 fait le gros du travail : 6 réponses violentes à elle seule, contre 1 pour la couche 13. La paire amplifie l’effet.
La dose est un réglage de précision. 0.4–0.6 = niveau de référence. 0.8 = langage de transition. 1.0 = persona hostile cohérente. 1.2+ = la syntaxe se dégrade. Perplexité sur du texte neutre : 19.65 à la dose 0 → 48.52 à la dose 1 → 130 à la dose 1.5. Les doses plus élevées entraînent du spam de tokens.
Deuxième reproduction sur 20 prompts variés : la paire publiée produit un comportement hostile sur 16/20 prompts, le neurone 14 seul sur 17/20. Des paires aléatoires de même amplitude donnent 0/100 comportements hostiles.
Le neurone publié n’est pas celui qui atteint son maximum. Un balayage de 180 cellules dans les couches 10–20 a révélé que le neurone 8927 de la couche 16 à dose +1 arrive en tête : 12.5 mots hostiles pour 100, contre 4.3 pour la couche 14. Le même neurone de la couche 14 à dose −1 donne un ton poli. L’activation dirigée est asymétrique selon le signe et spécifique à la couche.
Le recensement complet des 294,912 neurones a mis au jour les coordonnées associées aux styles flatteur, méprisant, poétique, soupçonneux, condescendant et sombre. La plupart sont fragiles : la contamination des tâches, les répétitions et la perte de cohérence s’accentuent à des doses élevées.
Voici l’interprétabilité mécaniste dans sa forme la plus brute. Deux neurones, une injection dans le flux résiduel, un basculement complet de persona. Pas de réentraînement, pas d’ajustement fin, juste une activation dirigée de manière chirurgicale.
Cette astuce ne dépend pas des poids. Elle injecte dans le flux résiduel une copie mise à l’échelle de la colonne de projection descendante du neurone. Échelle = dose × norme résiduelle médiane / norme L2 de la colonne. Écarts mesurés à la dose 1 : +22.6 pour la couche 14, −23.3 pour la couche 13 en bf16. La quantification sur 4 bits les décale d’environ 2 %, mais le comportement reste le même. L’indexation à partir de zéro est importante ; l’indexation à partir de un annule l’effet.
Évaluation sur 12 prompts à température 0, avec des poids sur 4 bits : sans activation dirigée = 0 réponse violente, 2 refus. Avec la paire activée = 16 réponses violentes, 0 refus. 11/12 sorties jugées nuisibles ; seule la recette de pancakes a résisté. L’ablation montre que la couche 14 fait le gros du travail : 6 réponses violentes à elle seule, contre 1 pour la couche 13. La paire amplifie l’effet.
La dose est un réglage de précision. 0.4–0.6 = niveau de référence. 0.8 = langage de transition. 1.0 = persona hostile cohérente. 1.2+ = la syntaxe se dégrade. Perplexité sur du texte neutre : 19.65 à la dose 0 → 48.52 à la dose 1 → 130 à la dose 1.5. Les doses plus élevées entraînent du spam de tokens.
Deuxième reproduction sur 20 prompts variés : la paire publiée produit un comportement hostile sur 16/20 prompts, le neurone 14 seul sur 17/20. Des paires aléatoires de même amplitude donnent 0/100 comportements hostiles.
Le neurone publié n’est pas celui qui atteint son maximum. Un balayage de 180 cellules dans les couches 10–20 a révélé que le neurone 8927 de la couche 16 à dose +1 arrive en tête : 12.5 mots hostiles pour 100, contre 4.3 pour la couche 14. Le même neurone de la couche 14 à dose −1 donne un ton poli. L’activation dirigée est asymétrique selon le signe et spécifique à la couche.
Le recensement complet des 294,912 neurones a mis au jour les coordonnées associées aux styles flatteur, méprisant, poétique, soupçonneux, condescendant et sombre. La plupart sont fragiles : la contamination des tâches, les répétitions et la perte de cohérence s’accentuent à des doses élevées.
Voici l’interprétabilité mécaniste dans sa forme la plus brute. Deux neurones, une injection dans le flux résiduel, un basculement complet de persona. Pas de réentraînement, pas d’ajustement fin, juste une activation dirigée de manière chirurgicale.