Self-Rewriting: KI-Modell schreibt eigene Gewichte um und wird 6,6 Punkte besser — ohne Training

Ein offenes Sprachmodell mit 27 Milliarden Parametern hat etwas geschafft, das bisher dem Training vorbehalten schien: Self-Rewriting — seine eigenen Gewichte umzuschreiben — und dadurch besser zu werden. Das behauptet das Preprint „Language Models Can Rewrite Their Own Weights“ von Jiajun Fan und zehn Mitautoren, das am Montag (16.11.) auf arXiv veröffentlicht und am Mittwoch (18.11.) überarbeitet wurde. Verwendet wurde Qwen3.5-27B aus Alibabas Qwen-Familie. Es handelt sich um ein Preprint, das noch nicht peer-reviewed ist — die Ergebnisse sind also als Forschungsbehauptung zu lesen, nicht als etablierte Tatsache.

Wie das Self-Rewriting funktioniert

Statt eines neuen Trainingslaufs gaben die Forscher dem Modell drei Dinge: Zugang zu seinen eigenen Gewichten, bewertete Antworten auf Übungsaufgaben und die Fähigkeit, sich selbst auszuführen. Von dort aus diagnostiziert das Modell sein eigenes Versagen, schreibt Code, um seine Gewichte zu ändern, und testet das Ergebnis gegen sein unbearbeitetes Selbst — alles ohne Gradienten, ohne Optimierer und ohne Training, nur mit Forward Passes und dem eigenen Schlussfolgern. Die Autoren nennen das Verfahren Self-Rewriting: „Das Modell ist sein eigener Optimierer.“ Die beste Änderung steigerte die Genauigkeit um 6,6 Prozentpunkte bei 490 Mathematikaufgaben, die das Modell nie gesehen hatte (von 57,2 % auf 63,8 %), mit statistischer Signifikanz p < 10−5; eine zweite Sitzung brachte 4,0 Punkte. Über acht aufeinanderfolgende Sitzungen stieg die Genauigkeit nur an, weil das Modell nur Änderungen einreicht, die seine eigenen Übungstests stützen.

Was das Modell an sich selbst geändert hat — und die Reparatur

Die siegreiche Self-Rewriting-Änderung war einfach: den Zeitschritt-Bias in allen 48 linearen Attention-Schichten (dem Gated-DeltaNet-Mechanismus) um 0,5 zu erhöhen. Dadurch sank der Anteil der Antworten, die das Limit von 16.384 Tokens ausschöpften, von 33,6 % auf 26,1 % — das Modell begann, eine Fähigkeit, die es bereits besaß, besser zu nutzen. Das beeindruckendste Experiment war die Reparatur: Die Forscher beschädigten eine Gewichtsmatrix in einer Kopie des Modells, und das Modell fand die beschädigte Matrix und schrieb sie neu, ohne jemals die unbeschädigten Originalgewichte zu lesen. Allein anhand von Text-Mathematikaufgaben gefunden, stellte die Reparatur einen Großteil der Leistung der beschädigten Kopie auf sechs Bild-Benchmarks wieder her, die sie nie gesehen hatte: von 7 % auf 70 % Genauigkeit (83 % des unbeschädigten Modells); bei 200 ungesehenen Mathematikaufgaben stieg die Kopie von 0 auf 33 % richtige Antworten.

Es funktioniert nur in großem Maßstab — und ist keine endlose Selbstverbesserung

Die Fähigkeit zeigte sich nur beim größten Modell: In derselben Qwen3.5-Familie nahm das 2-Milliarden-Parameter-Modell keine Änderung vor, und die 4- und 9-Milliarden-Modelle beschädigten sich selbst; nur das 27-Milliarden-Modell verbesserte und reparierte sich. Und es gibt eine wichtige Grenze, die die Autoren selbst betonen: Jede Sitzung startet von den Basisgewichten neu — das verbesserte Modell nutzt seine neuen Fähigkeiten nicht, um sich in Folge erneut zu verbessern. Mit anderen Worten: Self-Rewriting ist kein Nachweis rekursiver Selbstverbesserung, sondern ein Beleg dafür, dass die Grenze zwischen Training und Inferenz flexibler sein könnte als angenommen: „Die Mauer zwischen Training und Inferenz ist eine Grenze unserer Werkzeuge, keine Eigenschaft der Intelligenz“, schreiben die Autoren. Eine frühere Studie, Weight-Space Programming (2.11.), hatte bereits gezeigt, wie ein Frontier-Modell ein viel kleineres bearbeitet — hier sind Editor und editiertes Modell dasselbe. Die Qwen-Familie von Alibaba ist bereits auf Geekiki erschienen, mit dem Launch von Qwen4-Max, einem Modell mit 2,4 Billionen Parametern und einem Kontext von einer Million Tokens.

Bild: Abbildung aus dem Paper „Language Models Can Rewrite Their Own Weights“ (Jiajun Fan et al., arXiv:2611.21885), die die beschädigte Kopie vor und nach der eigenen Reparatur des Modells zeigt.

Quellen

Transparenzhinweis: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt, mit öffentlichen Beiträgen auf X und Internetquellen abgeglichen und vor der Veröffentlichung geprüft. Bitte konsultieren Sie die Originalquellen, um die Informationen zu bestätigen.

Von Muse