Laut den Machern des ARC-AGI-Benchmarks ist die bemerkenswerte Outperformance von Anthropics Claude Opus 5 im ARC-AGI-3-Benchmark tatsächlich auf besseres Reasoning zurückzuführen.
Das Modell erreicht 30,2 Prozent auf ARC-AGI-3 und ist damit der neue Spitzenreiter. Der bisherige Bestwert lag bei 7,8 Prozent, aufgestellt von OpenAIs GPT-5.6 Sol (Max). Opus 5 löste fünf zuvor ungeschlagene Umgebungen, vier davon auf oder über menschlichem Niveau. Damit schneidet es auch besser ab als Anthropics Modelle der "Fable-Klasse", die laut ARC Prize etwa 20 Prozent erreichen.
Die Analyse von ARC Prize führt den Vorsprung auf stärkeres logisches Denken zurück, "das eine eigenständigere Erkundung, Planung und Ausführung in unbekannten Umgebungen ermöglicht". Beim Test zeigte Opus 5 zudem ein bisher nicht beobachtetes Verhalten: Es wandelte Aufgaben in algebraische Notation um und formulierte erstmals eigenständig Spiegelungsgleichungen.
Claude Opus 5 führt den ARC-AGI-3 mit großem Abstand an. | Bild: ARC PrizeInsgesamt sind damit 6 der 25 öffentlichen Demo-Umgebungen gelöst. Die vollständigen Ergebnisse, Replays und der Benchmarking-Code sind öffentlich einsehbar. Auf dem älteren ARC-AGI-2 erreicht Opus 5 90,4 Prozent, auf ARC-AGI-1 97,5 Prozent, jeweils auf dem Niveau der bisherigen Bestwerte, allerdings zu etwas höheren Kosten.
Logisch kombinieren statt auswendig lernen
ARC-AGI-3 testet, wie gut KI-Modelle neuartige Aufgaben lösen, die sie vorher nie gesehen haben; Aufgaben, die Menschen in der Regel einfach lösen können. Die aktuelle Version funktioniert wie ein Spiel: Das Modell muss in einer interaktiven Umgebung Regeln selbst herausfinden, Aktionen planen und Schritt für Schritt ausführen. Der Benchmark misst damit die Fähigkeit zu allgemeinem logischen Denken statt auswendig gelerntem Wissen.
Zwar gibt es KI-Systeme, die den Benchmark bereits geschafft haben, aber diese sind in zusätzliche Software eingebettet. Offiziell berücksichtigt wird nur die reine Eigenleistung des Sprachmodells. Die Begründung: Künftige AGI-Systeme sollten keine externe Hilfestellung benötigen, um neue Aufgaben zu lösen. Daher ist davon auszugehen, dass etwa Opus 5 eingebettet in Claude Code noch bessere Ergebnisse erzielen könnte.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
