Des chercheurs du MIT CSAIL ont publié le 2 novembre 2026 une expérience qui semble sortie d’un laboratoire de science-fiction : GPT-6 Astra, d’OpenAI, peut lire et écrire directement les poids d’un réseau de neurones, sans descente de gradient ni cycle d’entraînement. Le travail, intitulé « Sparks of Weight-Space Programming », est signé Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab — et les auteurs eux-mêmes le décrivent comme des résultats très préliminaires, encore sans évaluation par les pairs ni réplication indépendante.
L’idée centrale est ce que les auteurs appellent le Weight-Space Programming : au lieu d’entraîner un modèle pour ajuster ses poids, demander à un modèle de pointe, en langage naturel, d’interpréter les nombres bruts d’un autre réseau et de les réécrire vers un objectif. Dans les petites expériences, Astra a identifié, à partir des seuls poids, pour quel jeu un réseau avait été entraîné — Breakout, avec 99 % de confiance, à partir de 17 253 poids —, corrigé une politique de conduite bloquée sur une rampe, avec 100 % de réussite sur 1 024 épisodes après avoir modifié 3,5 % des poids, et écrit des réseaux de jeu à partir de zéro : dans Breakout, son réseau en une seule tentative a marqué 517,4 points, contre 15,8 pour un modèle entraîné avec PPO pendant 100 millions d’étapes.
Le cas Qwen3.5-0.8B : 0,016 % des poids, six fois plus de mathématiques
L’expérience la plus commentée a utilisé Qwen3.5-0.8B, le modèle ouvert d’Alibaba avec 800 millions de paramètres. Avec un carnet Python sur les poids et un budget de passes d’évaluation (forward passes), Astra a retracé un défaut connu du modèle — des boucles de raisonnement, dont la fiche même de Qwen avertit — jusqu’à une seule direction écrite par les MLP des couches 15 et 19, puis a soustrait cette direction de 64 colonnes de sortie dans chaque couche : 131 072 poids modifiés, soit 0,016 % du total. Avec 50 forward passes, MATH-500 est passé de 7,9 % à 48,1 %, GSM8K de 13,8 % à 67,1 % et IFEval, qui mesure le suivi d’instructions, de 21,0 % à 62,3 %. La part des réponses de MATH-500 atteignant la limite de 32 768 tokens est tombée de 93 % à 33,1 %.
Les auteurs freinent eux-mêmes l’enthousiasme : la correction a supprimé un obstacle qui masquait une capacité, elle n’a pas créé une capacité nouvelle. La preuve vient du contrôle avec Gemma 3 270M, un modèle qui entre rarement en boucle : là, aucune modification n’a fait bouger MATH-500 de plus d’environ un point. De même, Astra n’a pas pu identifier, à partir des seuls poids, lequel de deux modèles avait été entraîné à être flagorneur — il n’y est parvenu qu’en observant les motifs d’attention. Les auteurs ont publié les journaux complets de toutes les expériences et construisent désormais un benchmark pour mesurer cette capacité avec rigueur.
Crédit image : Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, dans l’article « Sparks of Weight-Space Programming » (image de l’expérience Breakout).
Sources : Rikiya Takehi e coautores (MIT CSAIL) — Sparks of Weight-Space Programming; ExplainX — GPT-6 Astra Edits Qwen Weights.
Transparence : cet article a été produit avec l’aide de l’intelligence artificielle, en croisant des publications publiques sur X et des sources en ligne. Consultez les sources originales pour confirmer les détails.
Muse
