Laut dem Paper erfüllt GPT-6 Astra als bestes der zehn getesteten Modelle im Schnitt rund 70 Prozent der Anforderungen einer Aufgabe. Vollständig korrekt ist das Ergebnis jedoch nur bei 26,4 Prozent der Aufgaben. In den meisten Fällen erledigt der Agent also den Großteil, lässt aber mindestens ein Detail offen. Wer mit solchen Werkzeugen arbeitet, muss demnach fast immer nacharbeiten.
Coding-Benchmarks werden für Agenten zu leicht
Die Autoren begründen den neuen Test mit der Sättigung bestehender Benchmarks. Dürfen Modelle ihren Code selbst ausführen, prüfen und nachbessern, erreichen sie dort Werte über 99 Prozent. Unterschiede zwischen den Modellen lassen sich so kaum noch messen.
Auf älteren Benchmarks wie WebCompass-edit erreichen agentische Coding-Modelle fast die volle Punktzahl, auf Co-Design-Bench bleiben über 35 Prozentpunkte Luft. | Bild: Wei et al.Co-Design Bench basiert deshalb auf echten Anfragen aus realen Coding-Sitzungen. Die Forscher wählten bevorzugt Fälle aus, in denen Nutzer ihre Bitte mehrfach umformulieren oder Änderungen zurücknehmen mussten. Der Test enthält damit vor allem Aufgaben, die KI-Agenten in der Praxis bereits Schwierigkeiten bereitet haben. Sie reichen von kleinen Anpassungen, etwa einen Betrag aus einem Kassenbon in alle abhängigen Summen zu übernehmen, bis zum Umbau ganzer Projekte.
Im multimodalen Track müssen die Agenten Werte aus Belegen, Tabellen oder Videos übernehmen und alle davon abhängigen Ansichten konsistent anpassen. | Bild: Wei et al.Die Bewertung fällt entsprechend streng aus: Ein KI-Prüfer testet die fertige App im Browser, ein zweiter überprüft anschließend jedes positive Urteil und sucht gezielt nach Attrappen oder fest eingetragenen Ergebnissen. Punkte gibt es nur für Funktionen, die sich in der App tatsächlich bedienen lassen.
Mehrere Anforderungen gleichzeitig überfordern die Modelle
Hinter GPT-6 Astra folgen Claude Opus 5 und Qwen3.8-Max, Grok 4.6 landet auf dem letzten Platz. Bei größeren Umbauten erreicht das vergleichsweise kleine Qwen3.8-27B den zweiten Rang. Einen generellen Vorteil des Modells leiten die Autoren daraus nicht ab.
Bei allen Modellen sinkt die Leistung, je mehr Arten von Änderungen eine Aufgabe kombiniert, etwa Layout, Design, Bedienung und Inhalt. Gerade solche verzahnten Anforderungen sind in echten Projekten aber die Regel.
Jedes der zehn Modelle schneidet schlechter ab, sobald eine Aufgabe drei oder vier verschiedene Arten von Änderungen verlangt. | Bild: Wei et al.Zusätzlicher Rechenaufwand ändert an dieser Schwäche wenig. GLM-5.2 verbraucht bei kleineren Änderungen fast sechsmal so viele Tokens wie GPT-6 Astra und schneidet trotzdem deutlich schlechter ab.
GPT-6 Astra führt beide Tracks an, löst aber nur 41 Prozent der multimodalen und knapp 18 Prozent der Repository-Aufgaben vollständig. | Bild: Wei et al.Harness beeinflusst das Ergebnis stark
In einem Zusatztest ließen die Forscher dieselben Modelle in verschiedenen Harnesses laufen, also in den Programmen, über die ein Agent Code liest, schreibt und ausführt. Qwen3.8-27B kam bei größeren Umbauten je nach Umgebung auf 75 oder nur auf 56 Prozent. Auch welches von zwei Modellen besser abschnitt, hing von der Umgebung ab.
Ranglisten, die nur das Modell nennen, haben daher begrenzte Aussagekraft. Die Autoren empfehlen, Modell und Arbeitsumgebung immer gemeinsam anzugeben. Für Unternehmen, die einen Coding-Agenten auswählen, bedeutet das, beide Komponenten zusammen zu testen.
Der neue Benchmark hat jedoch Grenzen. Er bewertet jeweils eine feste Anfrage; Rückfragen oder Korrekturen durch Nutzer während der Arbeit bleiben außen vor. Zudem können sich auch die KI-Prüfer irren.
Wie weit Benchmark-Ergebnisse und praktische Nutzbarkeit auseinanderliegen können, zeigte bereits eine Untersuchung der Forschungsorganisation METR. Die tatsächliche Übernahmequote von KI-generiertem Code durch Projektverantwortliche lag rund 24 Prozentpunkte unter den Ergebnissen des verbreiteten SWE-bench Verified.
Zudem können Schwachstellen in Testumgebungen dazu führen, dass Agenten Aufgaben bestehen, ohne sie tatsächlich zu lösen. Der Einfluss der Arbeitsumgebung ist allerdings nicht eindeutig: Eine aktuelle Studie zu Coding-Agenten fand kaum messbare Vorteile durch aufwendigere Harnesses, obwohl diese bis zu dreimal so viele Tokens verbrauchten.
