Update:
ARC-Prize-Mitgründer François Chollet hat sich zu OpenAIs Ergebnissen geäußert. Er unterscheidet zwischen zwei Arten von Test-Umgebungen: Solche, die speziell für den Benchmark gebaut wurden oder Wissen über dessen Format enthalten, seien nicht zulässig. Allgemeine API-Einstellungen, die nicht für ARC-AGI-3 entwickelt wurden und allen Nutzern zur Verfügung stehen, seien dagegen in Ordnung. Das klingt nach einem Eingeständnis, dass die eigene GPT-5.6-Sol-Messung von ARC Prize unfair gegenüber OpenAI war.
Chollet schreibt, es habe in der Vergangenheit viel Austausch mit OpenAI gegeben, wie man deren Modelle am besten testen könne, besonders beim Thema Compaction. Er sei froh, dass OpenAI anfange, eine Antwort darauf zu finden. Wenn jeder Anbieter unterschiedliche Einstellungen nutze, entstehe allerdings ein mögliches Vergleichbarkeitsproblem. Das sei akzeptabel, solange die Einstellungen und Kosten klar dokumentiert würden.
Ursprünglicher Artikel:
OpenAI sagt, dass es auch gut ARC-AGI-3 kann. Nachdem Anthropics Claude Opus 5 den Bestwert auf dem Logik-Benchmark vervierfacht hatte, zeigt OpenAI nun, dass GPT-5.6 Sol mit zwei API-Einstellungen auf 38,3 Prozent kommt und damit Opus 5 (30,2 Prozent) übertrifft.
OpenAIDer Haken: OpenAI nutzt dafür nicht die offizielle Test-Umgebung, sondern die eigene Responses-API mit "Retained Reasoning" (Beibehaltung des Denkprozesses) und "Compaction" (intelligente Zusammenfassung statt Abschneiden alter Kontexte). In der offiziellen Umgebung erreichte GPT-5.6 Sol nur 7,8 Prozent, weil dort nach jeder Aktion das interne Denken verworfen wird.
OpenAI argumentiert, dass Benchmarks nie nur Modelle messen, sondern auch die technische Umgebung. Das ist korrekt: ARC-AGI-3 wertet daher laut ARC Prize nur die reine Modellleistung. Die offiziellen ARC-Scores nutzen einen einheitlichen Ansatz ohne anbieterspezifische Einstellungen, um faire Vergleiche zu ermöglichen, kommentiert ARC Prize die OpenAI-Ergebnisse. Streitpunkt hier ist wohl, ob ARC Prize jedoch eine veraltete API (Chat Completions) von OpenAI nutzt, die Funktionen, die die Claude-API bietet, noch nicht hatte. Somit wäre die Messung von ARC Prize ungerecht.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
