Google Deepmind ist das zweite große KI-Labor, das auf dem ARC-AGI-3-Benchmark mehr als 95 Prozent erreicht. Doch die Ergebnisse hängen stark von der Testmethode ab, und in Mathematik sowie Software Engineering bleibt Argon laut einer weiteren Messung hinter der Konkurrenz zurück.
Google Deepminds neues Frontier-Modell Gemini 4 Argon erreicht auf ARC-AGI-3 im "Provider Adapter Harness", der anbieterspezifische Funktionen wie Reasoning-Beibehaltung und Kontextkomprimierung nutzt, 97,5 Prozent bei Kosten von 4.800 US-Dollar. Damit ist Google laut ARC Prize nach OpenAI das zweite KI-Labor, das die 95-Prozent-Marke auf dem vermeintlich härtesten Benchmark für allgemeine Problemlösung überschreitet. Nur GPT-6 Astra schneidet mit 99,9 Prozent besser ab.
Im "Provider Adapter Harness" erreicht Gemini 4 Argon auf dem ARC-AGI-3-Benchmark 97,5 Prozent bei Kosten von 4.800 US-Dollar. In der Standardumgebung fällt der Wert auf 49,8 Prozent ab. | Bild: ARC PrizeWie Astra benötigte Argon über die 25 öffentlichen Spiele hinweg 62 Prozent weniger Aktionen als die menschliche Vergleichsbasis. Es stellte bei drei Spielen den Geschwindigkeitsrekord ein oder übertraf ihn und kam bei sechs weiteren bis auf zehn Prozent an die Bestzeit heran. In ARC-AGI-2 erreicht Argon 91,3 Prozent (0,32 US-Dollar pro Aufgabe), in ARC-AGI-1 sind es 98,5 Prozent (0,16 US-Dollar), berechnet zum Einführungspreis von zwei US-Dollar für Input- und zehn US-Dollar für Output-Tokens pro Million.
Über die 25 öffentlichen Spiele von ARC-AGI-3 hinweg benötigte Gemini 4 Argon (gelb) ebenso wie GPT-6 Astra (blau) 62 Prozent weniger Aktionen als die menschliche Vergleichsbasis (lila) und lag oft nahe am Speedrun-Rekord (rot). | Bild: ARC PrizeKontroverse um Testumgebungen und API-Abbrüche
Im regulären "Standard Harness", der lediglich einfache Notizen zwischen den Runden erlaubt, erreicht Argon bei niedrigem Reasoning nur 49,8 Prozent für 5.800 US-Dollar. Hinter dieser Zweiteilung steht ein Streit vom Juli 2026, als OpenAIs GPT-5.6 Sol das Modell Claude Opus 5 bei ARC-AGI-3 mithilfe zweier API-Einstellungen schlug.
In der Standardumgebung kam GPT-5.6 Sol nur auf 7,8 Prozent, da diese das interne Denken nach jeder Aktion verwirft und eine ältere Schnittstelle ohne neuere Funktionen der Claude-API nutzte. Mit OpenAIs eigener Responses-API samt Beibehaltung des Denkprozesses ("Retained Reasoning") und intelligenter Kontext-Zusammenfassung ("Compaction") sprang das Modell auf 38,3 Prozent und übertraf Opus 5 (30,2 Prozent), da Benchmarks laut OpenAI immer auch die technische Umgebung messen.
ARC-Prize-Mitgründer François Chollet ließ daraufhin allgemeine, öffentlich zugängliche API-Einstellungen zu, während speziell für den Benchmark gebaute Umgebungen verboten blieben. Mögliche Vergleichbarkeitsprobleme seien akzeptabel, solange Einstellungen und Kosten klar dokumentiert werden.
Im Standard-Harness verhinderten bei Argon zudem API-Probleme laut den Testern vollständige Durchläufe aller 55 Spiele: Bei niedrigem Reasoning beendete das System 42 Spiele (49,8 Prozent), bei mittlerem 46 Spiele (46,3 Prozent). In der höchsten Stufe gelangen nur 19 Abschlüsse, weshalb ARC Prize keinen Wert veröffentlichte. Die gemeldeten Gesamtergebnisse umfassen dennoch alle 55 Spiele inklusive der Teilpunkte aus abgebrochenen Läufen.
Die Diskrepanz zwischen 97,5 Prozent im Provider-Adapter-Harness und 49,8 Prozent im Standard-Harness zeigt, wie entscheidend die technische Testumgebung für Benchmark-Ergebnisse mittlerweile ist. Das wirft die Frage auf, wie aussagekräftig Spitzenwerte auf Benchmarks sind, wenn sie stark von anbieterspezifischen API-Funktionen abhängen, die im Alltag nicht immer verfügbar oder vergleichbar sind.
Rückstand bei Mathematik und Software-Entwicklung im ECI-Index
Auch beim Forschungsinstitut Epoch AI zeigt sich Googles Aufholjagd: Im Epoch Capabilities Index (ECI) erreicht Argon 165 Punkte und liegt damit gleichauf mit Fable 5.1, aber knapp hinter Opus 5.5 (167) und GPT-6 Astra (166). Der ECI verbindet laut Dokumentation über 50 Benchmarks zu einer allgemeinen Fähigkeitsskala, ermittelt per Modellvergleich die relative Schwierigkeit der Einzeltests und gewichtet schwere Aufgaben höher.
Mit einem ECI-Wert von 165 Punkten kommt Google der aktuellen KI-Spitze um GPT-6 Astra (166) und Opus 5.5 (167) so nahe wie seit Gemini 3.1 Pro im Februar 2026 nicht mehr. | Bild: Epoch AIArgon macht damit gegenüber Gemini 3.8 Flash (157 Punkte) einen deutlichen Sprung und bringt Google so nahe an die Spitze wie seit Gemini 3.1 Pro im Februar nicht mehr. Dies bestätigten zuvor auch Artificial Analysis und Vals.ai mit ähnlichen Messmethoden.
Die Leistung schwankt allerdings stark nach Domäne: Laut Epoch AI führt Argon zwar einige Wissens-, Agenten- und Bild-Benchmarks an, belegt nach ersten Schätzungen beim Math ECI aber nur den achten und beim Software-Engineering-Index (SWE ECI) den sechsten Platz.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
