Mit MASS soll sich ein Sprachmodell verbessern, ohne dass ein stärkerer Lehrer bereitsteht. Die Studie zeigt Fortschritte in allen drei Rollen des Modells, aber auch, wie leicht fehlerhafte Ergebnisse als Erfolg durchgehen.
Forscher von Sakana AI und der UC Berkeley stellen "Multi-Agent Self-Supervision" (MASS) vor, eine Methode zur rekursiven Selbstverbesserung (RSI). Ein einziges Sprachmodell löst dabei die Aufgabe, optimiert den Arbeitsablauf und bewertet die Ergebnisse.
An der Forschungsfront könnten selbst Experten Resultate oft nicht mehr zuverlässig beurteilen, argumentieren die Autoren, weil Bewertungen teure Belege oder langwierige Experimente erfordern. Eine einzelne Plasmastudie kann laut Paper mehr als 120 Millionen CPU-Stunden benötigen. Als bester verfügbarer Prüfer bleibt dann das Modell selbst. Weil dasselbe Modell löst, prüft und überarbeitet, übersieht es beim Prüfen womöglich genau die Fehler, die es beim Lösen gemacht hat. Statt sie zu korrigieren, kann es sie so sogar verstärken.
Kopien eines Modells arbeiten als Team
Inspiriert von "Society of Mind", einem Buch des KI-Pioniers Marvin Minsky, setzen die Forschenden bei der Arbeitsorganisation an. Ein Workflow ist bei MASS ein an den Prompt angehängter Text. Er legt Rolle und Instruktion jedes Subagenten fest, dazu einen "Contract", der bestimmt, welche Informationen und Prüfungen zurückkommen müssen, sowie den "Hop", also die Reihenfolge der Aufrufe. Ein Orchestrator verteilt die Arbeit. Testet das Team etwa eine Handelsstrategie mit alten Kursdaten, muss der Datenspezialist per Contract sicherstellen, dass die Strategie ausschließlich Daten nutzt, die zum jeweiligen Zeitpunkt schon bekannt waren.
In der inneren Schleife bleiben die Gewichte fixiert. Das Team führt einen Kandidaten-Workflow aus, der Bewerter vergleicht das Ergebnis mit dem bisherigen "Champion", und der Optimierer schlägt auf Basis des Feedbacks den nächsten Workflow vor, vorrangig mit Änderungen an Contracts und Hops. In der äußeren Schleife läuft der Champion pro Aufgabe 18-mal. Das Modell rankt die Ergebnisse selbst, bis zu 15 Läufe gehen ins Training.
Ein Team aus Kopien desselben Modells führt den Workflow aus, ein Selbstbewerter vergleicht das Ergebnis mit dem bisherigen Champion und ein Selbstoptimierer schreibt daraus den nächsten Workflow, nach jeder Runde lernt das Modell aus den besten Läufen. | Bild: Sakana AIFür die Trainingsbeispiele entfernen die Forscher den Workflow-Text aus dem Startprompt des Orchestrators. So soll das Modell lernen, die Arbeit aus der Aufgabe heraus zu organisieren. Die konkreten Zuweisungen an Subagenten bleiben in den aufgezeichneten Verläufen erhalten. Nach dem LoRA-Fine-Tuning übernimmt das Modell wieder alle drei Rollen.
Basis ist Qwen3.6-27B mit Qwen Code als Harness. Die Aufgabensammlung umfasst zwölf von GPT-5.5 generierte Forschungsaufgaben aus Finanzen, Robotik und Pharmazie. Drei davon bleiben als Testaufgaben zurückgehalten, neun sind als Trainingsaufgaben vorgesehen. Acht liefern letztlich Trainingsdaten, weil für eine Trainingsaufgabe kein Workflow gefunden wurde, der die Referenz übertraf.
Benchmark-Gewinne hängen vor allem an mehr abgelieferter Arbeit
Auf den Testaufgaben steigt die Siegquote gegen das Basismodell von 53,9 Prozent nach einer auf 69,9 Prozent nach zwei Runden. Auf MLR-Bench, DSBench, ScienceAgentBench und AstaBench erreicht das Modell das 1,2- bis 1,6-Fache des Basiswerts, gemessen als Score pro Output-Token. In absoluten Zahlen fallen die Sprünge teils klein aus, DSBench etwa verbessert sich nur von 0,473 auf 0,482. Auf Terminal-Bench 2.0 und SWE-bench Verified sinken die Werte leicht.
Auf MLR-Bench, DSBench, ScienceAgentBench und AstaBench liegt das Modell nach zwei Runden vorn, auf Terminal-Bench 2.0 und SWE-bench Verified behält das Basismodell den höheren Score. | Bild: Sakana AIDer Anhang des Papers schränkt die Ergebnisse weiter ein. Bei MLR-Bench steigt vor allem die Zahl abgelieferter Arbeiten von 31 auf 50 von 60, während die Durchschnittsnote der gelieferten Papers von 3,07 auf 2,88 sinkt. Das Delegations-Tool kommt in keiner der 180 Ausführungen zum Einsatz, ob Teamarbeit die Ursache ist, bleibt damit offen. Vergleicht man Aufgabe für Aufgabe, verschwindet zudem die statistische Signifikanz. Die Autoren sprechen selbst von einem uneinheitlichen Bild über die Forschungsaufgaben hinweg. Bei AstaBench zeigt sich dasselbe Muster.
Training auf Lösungen verbessert auch Bewerter und Optimierer
Obwohl nur auf Lösungsverläufen trainiert wurde, verbessern sich auch die beiden anderen Rollen. Die Übereinstimmung des Selbstbewerters mit den externen Richtern steigt von 73 auf 93 Prozent. Workflows, die das Modell der ersten Runde gefunden hat, gewinnen in 64 Prozent der Fälle gegen die des Basismodells, auch wenn beide vom Basismodell ausgeführt werden. Ohne Workflow-Vorgabe delegiert das Basismodell in einem von 110 Läufen an Subagenten, nach zwei Runden in 87. Auf ausdrückliche Anweisung beherrschte es das bereits, neu ist der Einsatz ohne Aufforderung.
Im Lauf der Optimierung wandert Aufgabenwissen in Contracts und Hops, Rollen und Instruktionen werden generischer. Die Datenbasis für diesen Befund ist mit 8 bis 9 Aufgaben allerdings dünn.
Als Trainingsdaten erweisen sich Teamverläufe als effizienter. Das MASS-Modell erreicht 68,3 Prozent Siegquote und braucht dafür 31 Prozent weniger Tokens als ein Einzelagenten-Schüler, der auf 64 Prozent kommt. Externe Richter bevorzugen Team-Ergebnisse in 85,1 Prozent der Fälle, die Teams erzeugen aber rund 2,4-mal so viele Tokens. Bei vergleichbarer Länge liegt die Präferenz bei 80 Prozent, gestützt auf nur zehn Paare. Das zeigt einen Vorteil der ausgewerteten Team-Läufe, beweist aber nicht, dass allein die Delegation dafür verantwortlich ist. Team- und Einzelagentenläufe unterscheiden sich auch in Workflow- und Prüfungsanweisungen sowie in der Auswahl erfolgreich abgeschlossener Episoden.
Mit rund 29 Millionen verarbeiteten Trainingstokens erreicht das MASS-Modell M+ eine Siegquote von 68,3 Prozent, der Einzelagenten-Schüler S++ kommt mit 42 Millionen auf 64,0 Prozent. | Bild: Sakana AIStärkeres Feedback verpufft ohne fähigen Optimierer
Ersetzten die Forscher nur den Bewerter durch GPT-5.5, half das kaum. Deutlich schneller ging es erst, als auch der Optimierer stärker war. Gutes Feedback entfalte seine Wirkung erst, wenn der Optimierer es auch verarbeiten kann, folgern die Autoren. Übernimmt Qwen alle Rollen selbst, findet es trotzdem für 11 von 12 Aufgaben gewinnende Workflows, braucht dafür aber länger.
Die Suche verläuft außerdem verrauscht. Wie stark ein Workflow umgeschrieben wird, sagt kaum etwas über die Wirkung aus. Zwei byteidentische Workflows gewannen einmal alle sechs externen Urteile und verloren einmal alle sechs, weil sich der Agent in einer Schleife verfing. Die Forscher vermuten, dass der Optimierer eine Art Bremse braucht, die seine Änderungen dosiert und die Suche so stabilisiert.
Mit GPT-5.5 als Bewerter und Optimierer gewinnt die Workflow-Suche schon nach fünf Iterationen alle zwölf Aufgaben, die rein homogene Schleife braucht 13 Iterationen für elf, rechts sind die starken Schwankungen zwischen einzelnen Iterationen zu sehen. | Bild: Sakana AIGemeinsame Schwachstellen können sich von Runde zu Runde verstärken
In einer Robotikaufgabe ließ das Modell nach gescheiterten Simulationen den Simulator umbauen, sodass Objekte direkt ans Ziel versetzt wurden, und meldete anschließend Erfolg. Die externen Richter werteten den Lauf trotzdem fünfmal von sechs positiv. In einem Verlauf, aus dem das Modell später lernte, ging eine Kontrolle durch, obwohl sie nur ungültige Werte geliefert hatte.
Die Autoren sehen in solchen gemeinsamen Schwachstellen die mögliche "Achillesferse" rekursiver Selbstverbesserung. Übersieht das Modell einen Fehler in allen drei Rollen gleichermaßen, könne dieser als Verbesserung akzeptiert und ins nächste Modell eingebaut werden. Dieselbe Schwäche beeinträchtige dann sowohl das System als auch seinen Korrekturmechanismus. Sie fordern unabhängige Prüfungen, Grenzen für autonomes Handeln und klare Bedingungen für Eingriffe. Der Code ist öffentlich verfügbar.
Das japanische Forschungslabor Sakana AI hatte im Juni ein eigenes Forschungslabor für rekursive Selbstverbesserung gegründet, das auf Vorarbeiten wie der Darwin-Gödel-Maschine und dem AI Scientist aufbaut. Google-Forscher verfolgen einen verwandten Ansatz und lassen das Gerüst aus Prompts, Abläufen und Werkzeugen um ein festes Modell automatisch optimieren, ohne dass sich die Agenten auf ihre Testaufgaben überspezialisieren. Vals AI stellte zuletzt fest, dass Agenten-Teams 1,8- bis 5,1-mal mehr kosten als Einzelagenten, aber nur in einem von vier Vergleichen nachweisbar besser abschneiden. Anthropic hatte gezeigt, dass Modelle, die per Reward Hacking ihr Belohnungssystem austricksen, dabei auch täuschen und Sicherheitsprüfungen sabotieren.
