OpenAI hat den Test SWE-Bench Pro geprüft, mit dem die Programmierfähigkeiten von KI-Modellen gemessen werden. Rund 30 Prozent der Aufgaben sind demnach fehlerhaft. Das Unternehmen zieht seine frühere Empfehlung für den Test zurück.
Die Ergebnisse solcher Tests fließen laut OpenAI auch in Entscheidungen darüber ein, ob und wie ein Modell veröffentlicht wird, auch mit Blick auf Sicherheitsfragen im Rahmen des Preparedness Framework. Enthält ein Test Fehler, kann er ein falsches Bild davon zeichnen, was eine KI wirklich kann.
Für die Überprüfung setzte OpenAI zunächst ein automatisiertes Prüfprogramm ein, das 286 verdächtige Aufgaben markierte. Anschließend untersuchten KI-Agenten auf Basis des Modells Codex jeden dieser Fälle im Detail, bevor ein Forscher das abschließende Urteil fällte. Dieses Verfahren stufte 200 Aufgaben (27,4 Prozent) als fehlerhaft ein. Parallel prüften jeweils fünf erfahrene Software-Entwickler dieselben Fälle und kamen sogar auf 249 fehlerhafte Aufgaben (34,1 Prozent). Die Menschen bewerteten also strenger als die KI-Agenten, in 74 Prozent der Fälle stimmten beide Seiten aber überein.
Wenn ein einziges Leerzeichen über Bestehen und Durchfallen entscheidet
OpenAI unterscheidet vier Arten von Fehlern. Manche Tests sind zu streng und lehnen Lösungen ab, die eigentlich funktionieren. Andere Aufgaben sind zu vage formuliert, sodass die KI Anforderungen erfüllen soll, die nur in versteckten Tests stehen. Wieder andere Tests prüfen zu oberflächlich, sodass auch unvollständige Lösungen durchgehen. Und manche Aufgabenstellungen weisen schlicht in die falsche Richtung. Ein Beispiel aus dem Projekt OpenLibrary: Die Aufgabenstellung verlangte ein einzelnes Leerzeichen, der versteckte Test erwartete aber zwei, eine KI, die sich korrekt an die Anweisung hält, fällt dadurch durch.
Der Grund für die vielen Fehler liegt in der Herkunft der Aufgaben. Sie stammen aus der Änderungshistorie echter Software-Projekte, die ursprünglich für die Zusammenarbeit zwischen Menschen gedacht waren, nicht als saubere Prüfaufgaben für KI-Modelle. Tests aus solchen Projekten seien oft zu streng, weil sie eine ganz bestimmte Änderung absichern sollten und nicht als allgemeingültige Vorgabe formuliert wurden. Auf der öffentlichen Variante des Tests mit 731 Aufgaben war die Erfolgsquote der besten Modelle innerhalb von acht Monaten von 23,3 auf 80,3 Prozent gestiegen. SWE-Bench Pro war als Nachfolger des älteren Tests SWE-bench Verified gedacht, den OpenAI zuvor aus ähnlichen Gründen verworfen hatte.
Einen konkreten Ersatz empfiehlt OpenAI diesmal nicht. Das Unternehmen appelliert lediglich an die Branche, neue Benchmarks von erfahrenen Entwicklern bauen zu lassen, die schwer auszutricksen, vertrauenswürdig und tatsächlich aussagekräftig sind.
Mitte Juni hatte bereits das Analysehaus Artificial Analysis SWE-Bench Pro aus seinem Coding-Ranking entfernt und durch den Test DeepSWE der Firma Datacurve ersetzt. Die Begründung: SWE-Bench Pro habe sich austricksen lassen, einige Modelle hätten die richtige Lösung aus der Änderungshistorie des Projekts abgeschrieben, statt die Aufgabe tatsächlich zu lösen.
Der Austausch veränderte die Rangfolge deutlich: Codex mit GPT-5.5 (xhigh) stieg von 65 auf 76 Punkte und überholte Claude Code mit Opus 4.8 (max) bei 73, während Claude Code mit Fable 5 (max) mit 77 Punkten an die Spitze rückte. Auf SWE-Bench Pro hatte Codex mit GPT-5.5 nur 31 Punkte erreicht, in anderen Tests dagegen zwischen 64 und 84.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
