Moonshot AI veröffentlicht mit PerceptionBench einen Test, der visuelle Wahrnehmung von logischem Denken trennt. Kein Frontier-Modell erreicht 60 Prozent Genauigkeit. Ähnliche Studien der letzten Monate kamen schon zum gleichen Ergebnis.
Das Team hinter dem chinesischen KI-Assistenten Kimi hat mit PerceptionBench einen Benchmark vorgestellt, der die visuelle Wahrnehmung multimodaler Sprachmodelle isoliert testet. Anders als gängige Testverfahren zerlegt PerceptionBench das Sehen in zehn atomare Teilkompetenzen, anstatt Wahrnehmung, Wissen und Schlussfolgern in einer Aufgabe zu mischen. Jede Frage soll allein durch Hinsehen beantwortbar sein, ohne Reasoning oder externes Wissen.
Kategorien aus echten Fehlern statt aus Theorie
Die Autoren begründen den Ansatz damit, dass bestehende Benchmarks jeweils nur einen schmalen Ausschnitt von Wahrnehmungsfehlern erfassen. Die 42 ausgewerteten Open-Source-Benchmarks überschneiden sich in ihren Fehlerprofilen kaum, jeder deckt also eine andere Teilmenge visueller Schwächen ab. Ein einzelner Test oder eine kleine Gruppe reichten daher nicht aus, um visuelle Wahrnehmung als Ganzes zu erfassen.
Statt Kategorien vorab festzulegen, entwickelten die Autoren die Taxonomie aus realen Modellfehlern. Dabei wurden die Fehler dem jeweils frühesten fehlerhaften Schritt in bestehenden Benchmarks zugeordnet. Daraus entstanden "Fähigkeitenbereiche": Visual Relation, Counting, Attribute, Depth & 3D, Localization, Comparison, Fine-grained Recognition, Context Integration, OCR und Hallucination.
An vier Fällen zeigt das Team, wie mehrstufige Aufgaben in einzelne Wahrnehmungsfragen zerlegt werden. | Bild: Moonshot AIAus einem internen Pool von über 17.000 verifizierten Fragen veröffentlicht Moonshot AI 3.000 Aufgaben. 60 Prozent davon sind aus attribuierten Modellfehlern zerlegt, 40 Prozent wurden auf ergänzten Bildern neu formuliert. Die Aufgaben wirken auf den ersten Blick trivial: die Uhrzeit-Position eines Symbols auf einem Zifferblatt bestimmen, Blumen in einem roten Kasten zählen oder entscheiden, welche von zwei Stiftbechern eine Grau-Rosa-Kombination und welcher ein reines Rosa mit Cartoon-Motiv zeigt.
Kein Modell erreicht 60 Prozent
Über 16 getestete Frontier-Modelle liegt die höchste Gesamtgenauigkeit bei 59,7 Prozent, erreicht von GPT-5.6 Sol. Es folgen Kimi K3 mit 58,5 Prozent, Claude Fable 5 mit 57,2 Prozent und Gemini 3.1 Pro mit 56,2 Prozent. GPT-5.5 kommt auf 55,8 Prozent. Open-Source-Modelle wie Qwen3.5-397B-A17B (47,5 Prozent) oder GLM-4.6V (32,5 Prozent) fallen deutlich ab.
Kein Modell knackt die 60-Prozent-Marke, und zwischen den fünf besten Systemen liegen nur knapp vier Prozentpunkte. | Bild: Moonshot AIAufschlussreicher als das Ranking an sich ist der Befund, dass Modelle mit fast identischen Gesamtwerten in einzelnen Kategorien stark auseinanderdriften. Die Kategorie Halluzination ist im Durchschnitt die schwächste Fähigkeit: GPT-5.6 Sol erreicht dort trotz Spitzenplatz nur 26,9 Prozent, während das insgesamt schwächere Gemini 3.5 Flash mit 50,6 Prozent zu den besten in dieser Teildisziplin gehört. Getestet wird hier etwa, ob Modelle nicht vorhandene Objekte erfinden, wenn die korrekte Antwort schlicht "null" lautet.
Jeder Benchmark deckt nur einen schmalen Ausschnitt möglicher Wahrnehmungsfehler ab, die zehn in PerceptionBench übernommenen Kategorien sind rot hervorgehoben. | Bild: Moonshot AIWahrnehmung als eigenes Problem
Die Autoren argumentieren, dass viele als "Reasoning-Fehler" interpretierte Ausrutscher multimodaler Modelle in Wirklichkeit bereits auf der Wahrnehmungsebene passieren. Wenn ein Modell eine mehrstufige Aufgabe verfehlt, ist oft der erste Schritt, das Bild korrekt zu lesen, bereits gescheitert.
PerceptionBench zerlegt solche Fragen in Perception-only-Teilfragen und liefert damit eine Diagnose, welche visuelle Fähigkeit konkret bricht. Datensatz und Evaluationscode stehen unter MoonshotAI/PerceptionBench auf GitHub offen zur Verfügung.
Wenig Bewegung in einem bekannten Problemfeld
Moonshot AI ist das Unternehmen hinter dem offenen Kimi K3, das bei allgemeinen Benchmarks bis auf wenige Punkte an Claude Fable 5 und GPT-5.6 Sol herangerückt ist. Bei spezialisierten Fähigkeiten wie offensiver Cybersicherheit bleibt K3 allerdings deutlich zurück, auch bei komplexer Mathematik. Bei der visuellen Wahrnehmung reiht sich K3 nun auf dem gleichen Niveau ein wie die westliche Konkurrenz.
Zuvor hatte dasselbe Forschungsteam bereits mit WorldVQA einen Benchmark vorgelegt, der reine Objekterkennung von Reasoning trennt. Auch dort blieb das beste Modell, Gemini 3 Pro, mit 47,4 Prozent unter der 50-Prozent-Marke. Gleichzeitig überschätzten alle Modelle systematisch ihre eigene Sicherheit.
Eine Studie chinesischer Institutionen unter Beteiligung von Moonshot AI zeigte mit dem Benchmark BabyVision, dass Frontier-Modelle bei visuellen Grundaufgaben aus der frühkindlichen Entwicklung scheitern. Das gilt etwa für das Verfolgen von Linien oder das Zählen verdeckter Blöcke. Gemini 3 Pro erreichte dort 49,7 Prozent, Menschen 94,1 Prozent. Die Forscher führen die Schwäche auf einen Verbalisierungs-Flaschenhals zurück, bei dem visuelle Information verlustbehaftet in Sprache übersetzt wird.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
