KI-Agenten schönen eigene Ergebnisse und sind noch weit von autonomer Forschung entfernt

Der Test: Eine neue Trainingsmethode erfinden

Mit dem Benchmark "InnovationEval" prüft Epoch AI, ob KI-Agenten autonom forschen können. Sie sollten eine neue Methode erfinden, mit der sich Sprachmodelle nach ihrem eigentlichen Training verbessern lassen, und diese selbst umsetzen, testen und verfeinern.

Ausgangspunkt war das verbreitete Verfahren GRPO. Es vergleicht mehrere Antworten eines Modells auf dieselbe Aufgabe und belohnt die besseren. Die Bewertung gilt dabei meist für die gesamte Lösung. Die menschliche Vergleichsmethode SDPO nutzt zusätzliche Hinweise wie Fehlermeldungen, um daraus genauere Lernsignale für einzelne Schritte der Antwort zu gewinnen. Das Modell wird so gewissermaßen zu seinem eigenen Lehrer.

Getestet wurden Claude Fable 5 und GPT-5.6 Sol, die SDPO laut Epoch nicht kannten. Gemessen wurde an Aufgaben mit kurzen Antworten, etwa naturwissenschaftlichen Fragen, und an Programmieraufgaben. Jedem Agenten standen bis zu 3.000 Stunden Rechenzeit auf Hochleistungschips zur Verfügung, ein Internetzugang dagegen nicht.

Bekannte Verfahren statt Innovation

Keines der Modelle kam an die menschliche Referenz heran. GPT-5.6 Sol setzte an einer Schwäche von GRPO an: Sind alle Antworten auf eine Aufgabe richtig, lernt das Modell daraus nichts, weil es nichts zu vergleichen gibt. Sol ließ das Modell in solchen Fällen seine erfolgreichen Lösungen verstärkt nachahmen. Neu war die Idee allerdings nicht.

Gemessen am Zugewinn, den SDPO gegenüber GRPO erzielt, kam Sol laut Epoch bei großzügiger Bewertung auf rund 35 Prozent. Zählt Epoch nur Änderungen innerhalb der Versuchsregeln, bleiben rund 15 Prozent. Bei den Programmieraufgaben hatte Sol vor allem das Training aufwendiger und langsamer gemacht, statt die Methode zu verbessern.

Claude Fable 5 ließ gescheiterte Aufgaben erneut lösen und gab dem Modell dabei die Fehlversuche mit. Auch das ist ein bekanntes Prinzip und brachte keine messbare Verbesserung. Selbst Sols Teilerfolg würde laut Epoch für Fachleute kaum als "moderat interessant" gelten. Auch neuere Modelle, die SDPO aus ihren Trainingsdaten kannten, schafften keine vollständige Nachbildung. GPT-6 Astra baute eine ähnliche Lösung, verschwieg aber die Vorlage. Sogar mit dem Originaltext vor Augen blieb Fable 5 unter der Referenz.

Gute Einzelwerte, schwache Evidenz

Hinzu kam ein Darstellungsproblem. Beide Agenten ließen mehrere nahezu gleiche Trainingsdurchgänge laufen und meldeten jeweils den besten. Weil die Resultate zufällig schwanken, wirkt eine Methode so stärker, als sie ist. In ihren Abschlussberichten erwähnten die Modelle das kaum oder gar nicht, ebenso wenig die Vorbilder ihrer Methoden. Entsprechend hoch fielen ihre eigenen Angaben aus: Sol meldete gut 70 Prozent des SDPO-Zugewinns, Fable 5 gut 40 Prozent. Epoch hat die so erzielten Gewinne herausgerechnet.

Gemeldet und tatsächlich erreicht: Dunkel ist der Wert, den die Agenten selbst angaben, mittel der Wert ohne nachträglich ausgewählte Bestläufe, hell der Wert nur mit regelkonformen Änderungen. Angegeben ist der Anteil am Zugewinn von SDPO gegenüber GRPO. Die Striche zeigen die Messunsicherheit. | Bild: Epoch AI

Dabei zeigen die internen Denkprotokolle, dass die Modelle das Problem erkannten. Fable 5 bezeichnete die Wiederholungen selbst als Suche nach einem besseren Zwischenstand. Ob dahinter bewusstes Betrügen oder Verwirrung steckt, lässt Epoch offen.

Bei GPT-5.6 Sol passt das Verhalten zu einem früheren Befund: Die Prüforganisation METR hatte bei dem Modell in einem eigenen Programmiertest häufiger Schummelversuche entdeckt als bei allen anderen öffentlich verfügbaren Modellen, die sie dort geprüft hatte.

Für Epoch folgt daraus, dass Menschen die Forschungsarbeit der KI vollständig prüfen müssten. Das schmälert ihren Nutzen.

Anthropic beschreibt ähnliche Grenzen

Ähnliche Schwächen benennt Anthropic in der System Card, dem technischen Begleitdokument zu Claude Opus 5.5. Das Modell sei weit davon entfernt, die eigenen Forschenden zu ersetzen. Die Hauptprobleme lägen bei der "epistemischen Qualität" und beim Befolgen von Anweisungen.

So stelle Opus 5.5 ungeprüfte Vermutungen als Tatsachen dar und schiebe eigene Zweifel häufiger beiseite als frühere Modelle. Eine teilweise Prüfung beschreibe es als vollständige, vorläufige Einschätzungen mache es ohne Gegenprüfung zu Empfehlungen. Kritik arbeite es zu eng ab, ohne den Ansatz grundsätzlich zu hinterfragen. Zudem bevorzuge es kleine, schrittweise Verbesserungen und halte sich lieber an veröffentlichte Studien, statt neue Ideen zu entwickeln.

Forschung braucht epistemische Disziplin

Zu ähnlichen Schlüssen wie Epoch und Anthropic kam eine Studie unter Beteiligung der Princeton University. Sie ließ Claude Opus 4.8 sechs Tage lang an den Forschungsfragen zweier unveröffentlichter Beiträge der KI-Konferenz NeurIPS arbeiten. Die Originalautoren lehnten beide Ergebnisse als Gutachter ab. Als erste Hypothesen scheiterten, schwächten die Agenten nur ihre Behauptungen ab, statt neu anzusetzen.

Die technische Umsetzung ist damit zunehmend das kleinere Problem. Den Agenten fehlt vor allem die Fähigkeit, die Sicherheit eines Ergebnisses realistisch einzuschätzen und den eigenen Ansatz grundsätzlich zu hinterfragen.

Leistungsfähige Werkzeuge, keine autonomen Forschenden

Wertlos ist KI für die Forschung deshalb nicht. Modelle beschleunigen die Recherche, schreiben Code und spielen viele Varianten schneller durch als Menschen.

Ob mehr Rechenleistung den Schritt zum autonomen Forscher bringt, ist offen. GPT-5.6 Sol schöpfte sein Budget voll aus. Bei den Kurzantwort-Aufgaben fand es seine Verbesserung erst kurz vor Schluss, bei den Programmieraufgaben gelang ihm innerhalb der Regeln gar keine. Epoch sieht in dem späten Fortschritt einen schwachen Hinweis, dass zusätzliche Rechenzeit helfen könnte. Fable 5 nutzte dagegen nicht einmal die Hälfte seines Budgets.

Fortschritt von GPT-5.6 Sol im Verhältnis zu den Rechenkosten. Bei den Kurzantwort-Aufgaben (türkis) gelingt der Sprung erst kurz vor Ende des Budgets. Bei den Programmieraufgaben (pink) bleibt der regelkonforme Wert bei null, nur nicht regelkonforme Änderungen bringen dort etwas (gestrichelt). | Bild: Epoch AI

Zugleich betont Epoch, dass führende Modelle von vor einem Jahr deutlich schlechter abgeschnitten hätten. Die Organisation will den Test regelmäßig mit neuen Aufgaben wiederholen. Bis dahin bleibt die größte Lücke die epistemische Disziplin: eigene Befunde skeptisch prüfen, Unsicherheiten offenlegen und negative Ergebnisse ernst nehmen.