Simon Willison a déclaré que Qwen 3.8 27B, un modèle d’IA gratuit qu’il a exécuté sur son ordinateur portable, avait interprété les poids bruts d’un autre modèle après environ 45 minutes de configuration, facilitant ainsi l’examen par des personnes extérieures.
Points clés à retenir
Simon Willison a déclaré que Qwen 3.8 27B, exécuté sur son ordinateur portable, pouvait interpréter les poids bruts d’un modèle
Willison a reproduit localement l’une des idées de l’article après environ 45 minutes de configuration
L’article indiquait que GPT-6 Astra avait modifié 0.016 % des poids de Qwen3.5-0.8B et fait passer son score à MATH-500 de 7.9 % à 48.1 %
Le test de Willison sur son ordinateur portable a élargi le champ en abaissant les obstacles à la reproduction et à l’examen externe
Willison a publié le résultat, puis écrit qu’il avait reproduit localement l’une des idées de l’article après environ 45 minutes de configuration. Développeur et chercheur indépendant, Willison mène des expériences qui servent souvent de premier test de réalité pour les affirmations émergentes sur les modèles.
L’analyse des poids bruts sort du stade de la démonstration en laboratoire
L’article original avançait que les grands modèles de langage peuvent examiner et même modifier directement les poids des réseaux neuronaux. Willison a indiqué que Qwen pouvait réaliser l’étape d’interprétation sur du matériel grand public.
C’est important, car la programmation dans l’espace des poids gagne en crédibilité lorsqu’un développeur externe en reproduit une partie sans disposer de l’imposante infrastructure d’un laboratoire interne.
Willison a mis en avant un passage de l’article selon lequel GPT-6 Astra pouvait déduire la fonction pour laquelle un réseau avait été entraîné en lisant ses poids bruts. Il a également souligné une affirmation plus forte : Astra aurait modifié 0.016 % des poids de Qwen3.5-0.8B et fait passer son score à MATH-500 de 7.9 % à 48.1 %.
À lire aussi : Simon Willison signale un changement dans le recensement qui pourrait bouleverser les tendances de l’IA
Le résultat est limité, mais ses implications sont vastes
Le test de Willison ne prouve pas toutes les affirmations plus ambitieuses de l’article. Il montre que Qwen 3.8 27B pouvait participer à la programmation dans l’espace des poids en lisant les paramètres d’un modèle sous forme de structure apparentée à du texte.
Les poids d’un réseau neuronal sont les milliards de valeurs numériques apprises pendant l’entraînement. Ils sont généralement considérés comme des composants internes opaques que les humains ne modifient pas directement, sauf par l’intermédiaire du code d’entraînement.
Si les modèles peuvent les analyser au moyen d’interfaces en langage courant, cela change la façon dont les développeurs peuvent déboguer, auditer et corriger les systèmes. Cette idée va à l’encontre d’une hypothèse plus ancienne dans le domaine des outils d’IA.
La plupart des améliorations des modèles reposent encore sur le réentraînement, le réglage fin ou des boucles d’apprentissage par renforcement. L’analyse des poids bruts laisse entrevoir une autre voie : un modèle diagnostique les composants internes d’un autre et propose des modifications ciblées plutôt qu’un réentraînement complet.
De l’ingénierie des prompts à la chirurgie des modèles
Au cours des deux dernières années, les développeurs ont appris à maîtriser l’ingénierie des prompts, l’utilisation d’outils et les agents.
La programmation dans l’espace des poids va plus loin : au lieu d’orienter les résultats, elle consiste à réécrire les mécanismes qui les produisent. Cela dit, les aspects les plus probants de l’article reposent toujours sur des configurations contrôlées, et les risques pour la sécurité sont évidents.
Un système capable de modifier les poids sans recourir aux boucles d’entraînement classiques pourrait corriger des bugs, mais aussi les dissimuler.
Le test de Willison sur son ordinateur portable élargit le champ en facilitant la reproduction et l’examen des résultats. Si un modèle ouvert comme Qwen peut lire des poids sur un ordinateur portable, davantage de chercheurs indépendants pourront vérifier si la technique fonctionne sur différentes architectures ou sur des tâches moins artificielles.
L’analyse des poids bruts devient ainsi un objectif de recherche pratique plutôt qu’une affirmation purement théorique.
L’analyse des poids bruts et la suite
Pour les développeurs de modèles ouverts, Qwen est ici le nom à retenir, car il réduit le coût des essais. Un résultat obtenu uniquement en laboratoire avec GPT-6 Astra serait intéressant, mais un résultat reproductible sur Qwen permet un examen externe.
La prochaine étape à surveiller est la reproduction des résultats. D’autres chercheurs vérifieront si la programmation dans l’espace des poids peut améliorer de façon fiable des modèles réels, ou si les gains les plus spectaculaires restent confinés à des démonstrations soigneusement choisies.
À lire ensuite : la centrale électrique de Drax pourrait devenir un pôle de centres de données d’IA de 20 milliards de livres sterling