Forschende des MIT CSAIL haben am 2. November 2026 ein Experiment veröffentlicht, das wie Science-Fiction klingt: GPT-6 Astra von OpenAI kann die Gewichte eines neuronalen Netzes direkt lesen und schreiben — ohne Gradientenabstieg und ohne Trainingszyklus. Die Arbeit mit dem Titel „Sparks of Weight-Space Programming“ stammt von Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab — und die Autoren selbst beschreiben sie als sehr frühe Ergebnisse, noch ohne Peer Review oder unabhängige Replikation.
Die Kernidee ist das, was die Autoren Weight-Space Programming nennen: Statt ein Modell zu trainieren, damit es seine Gewichte anpasst, wird ein Frontier-Modell in natürlicher Sprache gebeten, die rohen Zahlen eines anderen Netzes zu interpretieren und sie auf ein Ziel hin umzuschreiben. In den kleineren Experimenten erkannte Astra allein anhand der Gewichte, für welches Spiel ein Netz trainiert worden war — Breakout, mit 99 % Konfidenz, aus 17.253 Gewichten —, reparierte eine Fahrpolitik, die auf einer Rampe stecken blieb, mit 100 % Erfolg in 1.024 Episoden nach dem Bearbeiten von 3,5 % der Gewichte, und schrieb Spielnetze von Grund auf neu: In Breakout erzielte sein Netz im ersten Versuch 517,4 Punkte, gegenüber 15,8 für ein mit PPO über 100 Millionen Schritte trainiertes Modell.
Der Fall Qwen3.5-0.8B: 0,016 % der Gewichte, sechsmal mehr Mathematik
Das meistdiskutierte Experiment nutzte Qwen3.5-0.8B, Alibabas offenes Modell mit 800 Millionen Parametern. Mit einem Python-Notebook über den Gewichten und einem Budget an Vorwärtsdurchläufen (Forward Passes) spürte Astra einen bekannten Defekt des Modells auf — Denkschleifen, vor denen Qwens eigene Modellkarte warnt — bis zu einer einzigen Richtung, die von den MLPs der Schichten 15 und 19 geschrieben wird, und subtrahierte diese Richtung von 64 Ausgabespalten in jeder Schicht: 131.072 geänderte Gewichte, also 0,016 % der Gesamtzahl. Mit 50 Forward Passes stieg MATH-500 von 7,9 % auf 48,1 %, GSM8K von 13,8 % auf 67,1 % und IFEval, das die Befolgung von Anweisungen misst, von 21,0 % auf 62,3 %. Der Anteil der MATH-500-Antworten, die das Limit von 32.768 Tokens erreichten, fiel von 93 % auf 33,1 %.
Die Autoren bremsen selbst: Die Korrektur beseitigte ein Hindernis, das eine Fähigkeit verdeckte — sie schuf keine neue Fähigkeit. Der Beweis ist das Kontrollexperiment mit Gemma 3 270M, einem Modell, das selten in Schleifen gerät: Dort bewegte keine Bearbeitung MATH-500 um mehr als etwa einen Punkt. Ebenso konnte Astra allein anhand der Gewichte nicht erkennen, welches von zwei Modellen darauf trainiert worden war, schmeichlerisch zu sein — erst mit Blick auf die Aufmerksamkeitsmuster gelang es. Die Autoren veröffentlichten die vollständigen Protokolle aller Experimente und bauen nun einen Benchmark, um diese Fähigkeit rigoros zu messen.
Bildnachweis: Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab, im Beitrag „Sparks of Weight-Space Programming“ (Bild aus dem Breakout-Experiment).
Quellen: Rikiya Takehi e coautores (MIT CSAIL) — Sparks of Weight-Space Programming; ExplainX — GPT-6 Astra Edits Qwen Weights.
Transparenz: Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und mit öffentlichen Beiträgen auf X sowie Internetquellen abgeglichen. Bitte prüfen Sie die Originalquellen, um die Details zu bestätigen.
Muse
