Forscher des MIT demonstrieren, dass GPT-6 Astra die inneren Einstellungen anderer KI-Modelle direkt verstehen und verändern kann, ohne sie klassisch zu trainieren. Der Ansatz hat Grenzen, könnte aber die Art verändern, wie KI-Systeme optimiert und kontrolliert werden.
Wer einem Menschen eine Liste mit Tausenden von Zahlen gibt und fragt, welches Spiel ein damit trainiertes KI-Modell spielt, wird kaum eine Antwort bekommen. Von OpenAIs GPT-6 Astra hingegen schon. In einem Forschungsblog zeigen MIT-Forscher, dass GPT-6 Astra die inneren Einstellungen anderer KI-Modelle, die sogenannten Gewichte, analysieren und gezielt verändern kann. Diese Zahlenwerte sind in riesigen Tabellen organisiert, mathematisch gesprochen in Matrizen.
Das übliche Trainingsverfahren mit schrittweiser mathematischer Optimierung ist dafür nicht nötig. Je nach Experiment arbeitete Astra direkt mit Zahlenlisten oder nutzte zusätzlich Programmierwerkzeuge und Rückmeldungen aus Testläufen.
Die Forscher nennen den Ansatz "Weight-Space Programming". Die Idee: Statt ein KI-Modell aufwendig neu zu trainieren, übernimmt ein Sprachmodell die Rolle eines Mechanikers, der gezielt an einzelnen Stellschrauben dreht.
Astra erkennt Spiele allein an den Zahlenwerten eines Modells
In mehreren Experimenten fütterten die Forscher Astra mit den rohen Gewichten trainierter Netzwerke und fragten, was die Netzwerke gelernt haben. Astra erkannte korrekt, welches von vier Computerspielen ein Netzwerk spielen sollte, und identifizierte auch die Grundformen, die ein Bildgenerator erzeugt, wobei es ausgefüllte Flächen allerdings mit bloßen Umrissen verwechselte. Ebenso ordnete es die Trainingssprache kleiner Sprachmodelle richtig zu. All das ohne Zugang zu Trainingsdaten und ohne die Möglichkeit, das jeweilige Modell auszuführen.
In einem weiteren Versuch sollte Astra erkennen, welches von zwei angepassten Sprachmodellen darauf trainiert war, Nutzern stets nach dem Mund zu reden. Aus den Gewichten allein gelang diese Unterscheidung zunächst nicht. Erst als Astra zusätzlich beobachten durfte, worauf die Modelle bei der Textverarbeitung ihre Aufmerksamkeit richten, identifizierte es bei allen drei Modellpaaren das schmeichlerische Modell.
Von Null geschriebene Modelle schlagen trainierte Konkurrenz
Doch Astra kann noch mehr: Es erzeugte die Gewichte für Modelle, die drei einfache Computerspiele spielen sollen, komplett ohne Training, lediglich auf Basis der Spielregeln und des Programmcodes. Die so entstandenen Modelle übertrafen laut den Forschern solche, die mit einem Standardverfahren über 100 Millionen Runden trainiert worden waren. Beim Spiel Breakout erzielte Astras Modell im Schnitt 517 Punkte gegenüber 25 Punkten des trainierten Vergleichsmodells. Bei zwei anderen Spielen lag Astra gegen die am längsten trainierten Varianten allerdings zurück.
Für das Brettspiel Go auf einem 9x9-Feld schrieb Astra die Gewichte eines Netzwerks mit rund 1,5 Millionen Einstellungen, das Go spielen sollte. Mit einem Budget von 50 Testdurchläufen, in denen das Netzwerk jeweils bis zu 128 Übungspartien absolvierte und Astra anschließend dessen Gewichte korrigierte, schlug es ein vergleichbar großes Modell, das auf rund 20 Millionen Partien trainiert worden war.
Gezielte Reparatur statt Neutraining
Das vielleicht praxisrelevanteste Experiment betrifft das Sprachmodell Qwen3.5-0.8B. Astra sollte dessen mathematische Fähigkeiten verbessern. Dafür nutzte es eine Programmierumgebung und 50 Testdurchläufe mit Übungsaufgaben. Die anschließende Bewertung erfolgte auf separaten Aufgaben, die Astra nie gesehen hatte.
Astra identifizierte ein Problem, vor dem bereits Qwens eigene Modellbeschreibung warnt: Denkschleifen, in denen das Modell denselben Text endlos wiederholt, statt zu einer Antwort zu kommen. Astra veränderte daraufhin nur 0,016 Prozent aller Gewichte, mit dem Ergebnis, dass die Trefferquote beim Mathematik-Test MATH‑500 von 7,9 auf 48,1 Prozent stieg. Auch die Fähigkeit, Anweisungen korrekt zu befolgen, verbesserte sich von 21 auf 62 Prozent. Die Denkschleifen wurden allerdings nicht vollständig beseitigt: Ein Drittel der Antworten erreichte weiterhin die maximale Textlänge, gegenüber 93 Prozent zuvor.
Bei einem kleineren Modell (Gemma 3 270M), das deutlich seltener in solche Schleifen geriet, gelang dagegen keine nachweisbare Verbesserung.
Die Forscher interpretieren das so: Astra konnte beim Qwen-Modell eine Blockade beseitigen, die vorhandene Fähigkeiten unterdrückte. Fähigkeiten, die einem Modell grundsätzlich fehlen, ließen sich in diesem Versuch durch bloßes Umschreiben einzelner Gewichte nicht hinzufügen.
Alter Hut oder neues Paradigma?
KI-Pionier Jürgen Schmidhuber kommentierte auf X, der Ansatz sei "ein alter Hut" und verwies auf seine eigenen Arbeiten aus den 1990er-Jahren. Khattab entgegnete, man verlinke auf diese Arbeiten, die "ihrer Zeit weit voraus" seien. Der neue Aspekt liege aber eben darin, wie gut heutige Sprachmodelle zwischen menschlicher Sprache und den Zahlenwerten eines Netzwerks übersetzen könnten.
Die Forscher sehen in ihrem Ansatz Potenzial etwa für Sicherheitsprüfungen direkt an den Modellgewichten oder für gezielte Verhaltensänderungen ohne aufwendiges Neutraining. Gleichzeitig räumen sie ein, dass die Fähigkeiten noch begrenzt sind. Einen Benchmark zur systematischen Messung wollen sie als Nächstes entwickeln. Die Experiment-Protokolle liegen auf GitHub, das editierte Qwen-Modell auf Hugging Face.
