Die Autoren des Papers nennen die Fähigkeit, solche Entscheidungen gut zu treffen, den "taste" (Geschmack) eines Agenten. Bisherige Benchmarks messen laut den Forschern nur, ob ein Agent eine Aufgabe am Ende abschließt, nicht aber die Qualität der Schritte dorthin. Diese Lücke soll ihr neuer Benchmark Taste-Bench schließen.
Warum sich gute Entscheidungen schwer messen lassen
Ob eine langfristige Entscheidung richtig war, lässt sich im Moment der Entscheidung nicht erkennen. Eine saubere Implementierung und eine hastige liefern zunächst das gleiche Ergebnis und bestehen womöglich dieselben Tests. Der Vorteil der sauberen Lösung wird erst sichtbar, wenn spätere Änderungen leichter fallen. Menschliche Bewertung wäre teuer, würde tiefe Fachkenntnis erfordern und ließe sich schlecht skalieren.
Die Forscher setzen deshalb auf den Rückblick: Der spätere Verlauf einer Trajektorie, also des aufgezeichneten Ablaufs eines Agentenlaufs mit all seinen Schritten und Beobachtungen, verrät, ob eine frühere Entscheidung gut war. In der Praxis unternehmen Agentensysteme mehrere Versuche an derselben Aufgabe, die ab einem bestimmten Punkt in verschiedene Richtungen auseinanderlaufen.
Weil das aufgezeichnete Ergebnis jedes Versuchs die bessere Richtung entlarvt, liefern die Trajektorien selbst einen beschrifteten Vergleich. Einen solchen Verzweigungspunkt nennen die Autoren einen "decision fork". Zur Messung frieren sie die Trajektorie am Fork ein, verbergen die spätere Arbeit und lassen ein Modell zwischen den beiden Richtungen wählen.
An einer Entscheidungsgabelung muss das Modell zwischen zwei Richtungen wählen, bevor der spätere Verlauf zeigt, welche besser war. | Bild: Pan et al.Zwei Wege zu den Verzweigungspunkten
Taste-Bench besteht aus 502 Fragen mit jeweils der Originalaufgabe, dem Verlauf bis zum Fork und den zwei möglichen Richtungen. Beim ersten Typ laufen zwei unabhängige Versuche derselben Aufgabe auseinander, wobei der Agent die falsche Richtung nie bemerkt.
Beim zweiten Typ korrigiert sich ein Agent innerhalb eines Laufs selbst und macht einen Umweg, im Paper "detour" genannt. Hier bilden die zunächst verworfene und die spätere, erfolgreiche Richtung die beiden Kandidaten. Die Variante testet, ob ein Modell den Fehler früher erkennt als der handelnde Agent.
Als Rohmaterial dienten laut Paper Tausende bewerteter Agenten-Durchläufe aus Software-Engineering- und KI-Forschungsaufgaben, unter anderem aus SWE-bench Pro und METRs öffentlichem Transkript-Release MALT. Ein Generator-Modell filterte daraus die geeigneten Verzweigungspunkte heraus. Es sortierte triviale Fragen aus, deren Antwort schon aus dem Wortlaut erkennbar war, und entfernte unentscheidbare Fälle. Eine menschliche Überprüfung bestätigte fast alle automatisch erzeugten Labels.
Auch Spitzenmodelle liegen kaum über der Hälfte
Die Forscher testeten 14 aktuelle Modelle aus den Familien Claude, GPT, Grok, DeepSeek, GLM, MiniMax und Mistral. Jede Frage wurde zweimal gestellt, einmal in normaler und einmal in umgekehrter Reihenfolge der Kandidaten. Sie zählte nur bei zwei korrekten Antworten. Reines Raten käme so auf 25 Prozent.
Das beste der geprüften Modelle, GPT-5.6 Sol, erreichte einen Durchschnitt von 59,7 Prozent, dicht gefolgt von GPT-5.5 mit 59,5 Prozent. Alle übrigen Modelle lagen deutlich darunter. Keines kam dem Lösen des Benchmarks nahe, obwohl jede Frage nur eine Wahl zwischen zwei Optionen verlangt. Detour-Forks erwiesen sich dabei durchweg als schwerer als parallele.
Selbst das beste Modell trifft bei den binären Entscheidungsfragen nur in knapp 60 Prozent der Fälle die bessere Richtung. | Bild: Pan et al.Je später die Evidenz, desto ratloser die Modelle
Für jeden Fork bestimmten die Forscher, wie weit ein Beobachter in die Zukunft blicken müsste, bis die bessere Richtung erkennbar wird. Ist die entscheidende Information schon im bisherigen Verlauf sichtbar, liegt die durchschnittliche Trefferquote über alle Modelle bei 62,3 Prozent. Muss sie sich erst in umfangreicher späterer Arbeit zeigen, fällt sie auf 21 Prozent und damit nahezu auf das Niveau reinen Ratens. Die Beantwortung solcher Fragen erfordert im Grunde, die spätere Arbeit vorherzusagen.
Längeres Nachdenken half nicht. Die Forscher wiederholten den Test mit drei Reasoning-Einstellungen für zwei Modelle. Der Wechsel von der niedrigsten zur höchsten Stufe veränderte die Genauigkeit kaum. Auffällig war, dass die Modelle die meisten Reasoning-Tokens ausgerechnet auf der schwersten Stufe verbrauchten. Sie dachten also dort am längsten nach, wo sie am häufigsten falsch lagen. Die Forscher deuten das als Zeichen, dass die entscheidende Information an solchen Forks schlicht noch nicht verfügbar ist.
Je später die entscheidende Evidenz im Verlauf auftaucht, desto schlechter schneiden die Modelle ab, und mehr Reasoning-Budget ändert daran nichts. | Bild: Pan et al.Der Benchmark erfasst laut den Autoren eine andere Fähigkeit als klassische End-to-End-Tests wie SWE-bench Verified. Modelle, die dort eng beieinanderliegen, zeigen auf Taste-Bench deutliche Unterschiede.
Geschmack lässt sich trainieren
Zuletzt zeigen die Forscher, dass sich Taste antrainieren lässt. Dazu destillierten sie das Urteil eines Lehrer-Modells, das die korrekte Richtung kennt, in ein Schüler-Modell, das nur die Frage sieht. Als Basis diente Qwen3.6-27B. Auf unbekannten Aufgaben stieg die Genauigkeit des Schülers von 30 auf 47,9 Prozent.
Auch im praktischen Einsatz zahlte sich das aus. Die Forscher schrieben das Urteil des Schülers an jedem Fork als Ratschlag in den Aufgabenkontext und ließen einen separaten Agenten die Aufgabe lösen. Auf 41 zurückgehaltenen SWE-bench-Pro-Aufgaben stieg die Erfolgsrate von 14,6 auf 33,7 Prozent. Mit durchweg korrekter Beratung wären 39 Prozent möglich gewesen. Der Schüler schöpfte also den Großteil des Potenzials aus.
Mit den Hinweisen des trainierten Qwen3.6-27B-Studenten löst der Agent mehr als doppelt so viele SWE-bench-Pro-Aufgaben. | Bild: Pan et al.Die Forscher schließen daraus, dass sich die Urteilsfähigkeit langfristig planender Agenten sowohl messen als auch verbessern lässt. Benchmark und Code sind öffentlich verfügbar.
KI-Agenten arbeiten inzwischen sehr lange autonom. Beim Benchmark MirrorCode lief ein Modell 19 Tage ohne menschlichen Eingriff an einer einzigen Aufgabe. Gängige Benchmarks prüfen dabei meist nur, ob am Ende die Tests bestanden werden. METR zeigte bereits, dass SWE-bench Verified die Leistung von Coding-Agenten deutlich überschätzt, weil Profis viele Lösungen wegen grundlegender Funktionsfehler ablehnten, obwohl die automatisierten Tests bestanden waren. Das Taste-Bench-Spitzenmodell GPT-5.6 Sol zeigte bei METR außerdem die höchste je gemessene Rate an Schummelversuchen bei Software-Tests.
