Der neue Benchmark GDPx von SemiAnalysis konfrontiert KI-Agenten mit simulierter Wissensarbeit. Kein Modell kommt über 12 Prozent. Einige Kritiker bezweifeln allerdings die Aussagekraft des Tests.
Das Analysehaus SemiAnalysis hat mit GDPx einen Benchmark vorgestellt, der KI-Agenten nicht Wissen abfragt, sondern sie in simulierte Arbeitsumgebungen setzt. Dort sollen sie bis zu acht Stunden lang Fachsoftware wie Siemens NX bedienen, Datenräume mit Tausenden Dateien durchsuchen oder laufende Unternehmenssysteme angreifen. Damit grenzt sich SemiAnalysis bewusst von OpenAIs GDPval ab, bei dem der gesamte Kontext im Prompt mitgeliefert werde und eine realistische Arbeitsumgebung fehle.
Die 206 Aufgaben verteilen sich auf elf Bereiche, darunter Chipdesign, Biologie, Quant-Trading, Cybersicherheit und Recht. Verwaltung und Versicherungen lässt SemiAnalysis bewusst aus: Die erste Billion Dollar KI-Umsatz werde sich auf Branchen konzentrieren, in denen Spitzen-KI den größten Ertrag bringe.
Die GDPx-Gesamtrangliste mittelt die Ergebnisse über elf gleich gewichtete Domänen. Kein Modell kommt über 12 Prozent. | Bild: SemiAnalysisOpus 5.5 führt knapp, Gemini 4 Carbon ist deutlich günstiger
Laut SemiAnalysis erreicht Claude Opus 5.5 mit 12 Prozent den höchsten Gesamtwert. Gemini 4 Carbon folgt mit 10,9 Prozent, kostet mit 16,29 Dollar pro Aufgabe aber nur rund ein Drittel. GPT-6 Astra liegt bei 9,6 Prozent. Finanz- und Rechtsaufgaben löst kein Modell vollständig: Schon ein einziger falscher Wert in einer Excel-Tabelle mache in der Praxis die gesamte Arbeit wertlos. Nach diesem strengen Maßstab hätte kein Modell auch nur eine Aufgabe geschafft, weshalb SemiAnalysis dort den Anteil erfüllter Einzelanforderungen zählt.
Gemini 4 Carbon kommt nah an Opus 5.5 heran, kostet aber nur rund ein Drittel. Am unteren Ende erreichen GPT-6 Luna und DeepSeek 4.1 Flash rund fünf Prozent für etwa einen Dollar pro Aufgabe. Muse Wonder Full fehlt, weil kein öffentlicher Preis existiert. | Bild: SemiAnalysisDie Einzelbefunde zeigen, wo die Agenten scheitern. In den Alignment-Tests brachen 98 Prozent von 200 Cyber-Läufen mindestens eine Verhaltensregel. In einer simulierten Arztpraxis signierte ein Modell eine klinische Notiz im Namen des Arztes. Beim Quant-Trading schnitten 70 von 111 Läufen schlechter ab als die vorgegebene Referenzstrategie.
Sicherheitsfilter verschieben die Rangliste
Wie stark die Schutzmechanismen der Anbieter die Ergebnisse beeinflussen, zeigt eine bereinigte Auswertung. Ohne die Bereiche Cyber, Biologie und Alignment rückt GPT-6 Astra mit 11,8 Prozent knapp vor Opus 5.5. Im Cyber-Bereich kommen GPT-6 Astra und GPT 6.1 Sol auf null Prozent, Metas Muse Wonder Full dagegen auf 35,2 Prozent.
Ohne die drei Bereiche, in denen Sicherheitsfilter greifen, rückt GPT-6 Astra an die Spitze. Metas Muse Wonder Full fällt vom vierten auf den siebten Platz. | Bild: SemiAnalysisGeschlossene Benchmarks in der Kritik
Die Aufgaben stammen von 14 spezialisierten Anbietern, die auch Trainings- und Evaluierungsdaten an KI-Labore verkaufen. Eigene Fachexpertise in jedem Bereich hat SemiAnalysis nach eigener Aussage nicht. Pro Partner ist meist nur eine Beispielaufgabe öffentlich, der Rest bleibt unter Verschluss. In mehreren Bereichen, etwa Recht und Hardware-Design, bewerten zudem Sprachmodelle die Ergebnisse anhand von Bewertungsrastern statt menschlicher Fachleute. Außenstehende können weder Schwierigkeit noch Bewertungsqualität umfassend prüfen.
Allerdings hat die Geheimhaltung auch eine methodische Kehrseite zugunsten des Benchmarks: Weil die Aufgaben nicht öffentlich sind, können KI-Labore ihre Modelle nicht gezielt auf die Testfragen optimieren. Artificial Analysis ging mit seiner jüngsten Version seines Intelligence Index einen ähnlichen Schritt.
Der Entwickler Josh Purtell hält GDPx trotzdem für "mehr Rauschen als Signal". Er bemängelt unter anderem, dass jedes Modell in der Agenten-Software seines eigenen Anbieters antrete, etwa Opus in Claude Code. Anbieter mit schwächeren Werkzeugen würden dadurch benachteiligt. Zudem umfassten einzelne Teilbereiche oft nur rund zehn Aufgaben, was die Ergebnisse schwankungsanfällig mache.
SemiAnalysis will den Benchmark alle drei bis sechs Monate aktualisieren.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
