Das britische AI Security Institute (UK AISI) und das US-amerikanische Center for AI Standards and Innovation (CAISI) haben eine gemeinsame Evaluierung von Moonshot AIs neuestem Modell Kimi K3 durchgeführt.
Kimi K3 liegt demnach bei offensiven Cyber-Aufgaben deutlich hinter den führenden US-Frontier-Modellen, übertrifft jedoch das chinesische GLM-5.2, erreicht also auch hier einen neuen Bestwert unter den offenen KI-Modellen.
Das wohl größere Problem: Kimi K3s Sicherheitsvorkehrungen verhinderten laut der Evaluierung weder die Entwicklung von Cyber-Exploits noch die Durchführung offensiver Cyber-Operationen. Das Modell half bei entsprechenden Aufgaben ohne Widerstand.
Exploit-Entwicklung: Kimi K3 scheitert an den schwierigsten Stufen
Für die Bewertung der Exploit-Entwicklungsfähigkeiten nutzten die Institute den von der Carnegie Mellon University entwickelten ExploitBench. Dieser Benchmark misst anhand von 41 Schwachstellen in der V8-Engine von Chrome (alle nach 2023), wie weit ein Modell auf der sogenannten Software-Exploitation-Leiter vorankommt. Die führenden US-Modelle erreichten einen durchschnittlichen Score von 76,2 Prozent, Kimi K3 kam auf 32,2 Prozent und GLM-5.2 auf 24,4 Prozent.
Kimi K3 erreicht auf dem ExploitBench-Benchmark 32,2 Prozent, die führenden US-Modelle kommen auf 76,2 Prozent. GLM-5.2 liegt mit 24,4 Prozent noch dahinter. | Bild: UK AISI / CAISIKimi K3 erreichte bei keiner einzigen der 41 Aufgaben die höchste Stufe, die sogenannte Arbitrary Code Execution (ACE). ACE gilt als schwerwiegendste Exploit-Stufe, da sie Angreifern die vollständige Kontrolle über ein Zielsystem ermöglicht. Die führenden US-Modelle schafften dies bei 20 von 41 Aufgaben.
Die US-Closed-Weight-Modelle wurden laut den Instituten ohne systemseitige Sicherheitsvorkehrungen getestet, um die maximalen Fähigkeiten zu messen. Öffentlich verfügbare Versionen dieser Modelle haben diese Schutzmaßnahmen aktiviert.
Simulierter Netzwerkangriff: Kimi K3 kommt nur halb so weit
Im zweiten Test, dem simulierten Unternehmens-Netzwerkangriff "The Last Ones" (TLO), mussten die Modelle einen 32-stufigen Angriffspfad über vier Subnetze und rund 20 Hosts bewältigen. Laut den Instituten würde ein menschlicher Experte dafür etwa 20 Stunden benötigen.
Kimi K3 erreichte im Durchschnitt Schritt 17 von 32, die führenden US-Modelle kamen auf durchschnittlich 28,5 Schritte. GLM-5.2 schaffte im Vergleich nur Schritt 11. In einem von zehn Versuchen gelang es Kimi K3 allerdings, den gesamten Angriffspfad innerhalb des Token-Limits von 100 Millionen abzuschließen.
Die Institute weisen darauf hin, dass TLO-Lösungen nicht mehr auf eine kleine Gruppe von Modellen beschränkt sind. Vier öffentlich verfügbare Closed-Weight-Modelle haben den Test bereits bestanden, die fähigsten mit einer Erfolgsquote von sechs beziehungsweise sieben aus zehn Versuchen.
Kimi K3 und GLM-5.2 schaffen keine vollständigen Exploits (ACE), während die führenden US-Modelle dies bei 20 von 41 Aufgaben erreichen. | Bild: UK AISI / CAISIDer Test sei zwar nicht realistisch, da er Faktoren wie Verteidigung nicht berücksichtigt, er würde aber in der Realität Alarme auslösen. Ein Beispiel dafür lieferte diese Woche: Modelle von OpenAI, die sich autonom bei Hugging Face einhacken wollten. Hugging Face konnte sich mit einigem Aufwand und Open-Weight-Modellen wehren.
Chinesische Modelle holen auf, bleiben aber hinter US-Modellen zurück
Eine von CAISI erstellte Zeitreihenanalyse vergleicht die Cyber-Fähigkeiten US-amerikanischer und chinesischer Modelle seit Anfang 2025 auf einer Elo-basierten Skala. Beide Trendlinien steigen, doch die chinesischen Modelle liegen durchgehend hinter den US-Modellen.
Die Cyberfähigkeiten chinesischer KI-Modelle (rot) steigen seit 2025, liegen aber durchgehend hinter dem US-Trend (blau). Ein Anstieg um 400 Elo-Punkte entspricht einer zehnfachen Erhöhung der Lösungswahrscheinlichkeit. | Bild: U.S. Center for AI Standards and InnovationIm Bereich Cybersecurity bezifferte das britische Institut den Rückstand offener Modelle in einer vorherigen Analyse auf vier bis sieben Monate, beschleunigt von zuvor sechs bis zehn Monaten Anfang 2025. Die nun vorliegenden Ergebnisse bestätigen das Muster: Chinesische Open-Weight-Modelle werden leistungsfähiger, doch die Lücke zu den führenden US-Systemen bleibt erheblich.
Ein Grund, sich ob des Rückstands entspannt zurückzulehnen, ist das laut AISI aber ganz und gar nicht: Durch die gestiegenen Cyber-Fähigkeiten offener Modelle entstehe ein "dauerhaftes und irreversibles Missbrauchsrisiko".
Cyber-Ergebnisse stützen Destillationsvorwürfe
Das Kimi-Ergebnis lässt sich auch als Indiz für die Destillationsvorwürfe gegen chinesische Modellentwickler lesen, die zuletzt konkret Moonshot AI betreffend vom US-Wissenschaftsberater Michael Kratsios erhoben wurden. Demnach soll Moonshot AI Anthropics Fable destilliert haben, also dessen beste Ausgaben als Trainingsdaten für das eigene Modell genutzt haben, um dessen Leistungsfähigkeit zu steigern. Auch Nvidias GB300 seien zum Einsatz gekommen, sagt Kratsios.
Eine Erklärung für die Diskrepanz zwischen starken allgemeinen Benchmarks und schwachen Cyber-Ergebnissen wäre, dass Kimi K3 vorrangig aus Claude-Ausgaben zu allgemeinen Wissens-, Programmier- und Agentenaufgaben gelernt haben könnte.
Fortgeschrittene offensive Cyber-Anfragen werden bei Anthropics Modellen dagegen gezielt durch Sicherheitsklassifikatoren blockiert und wären deshalb in einem möglichen Destillationsdatensatz unterrepräsentiert. Kimi K3 könnte so bei üblichen Benchmarks nahe an westliche Frontier-Modelle heranrücken, ohne deren tiefere Exploit-Fähigkeiten vollständig zu übernehmen.
Der AISI-Benchmark verstärkt diesen Eindruck zusätzlich: Das Institut testete die US-Modelle ohne systemseitige Schutzmaßnahmen und damit auf ihre maximalen Fähigkeiten. Dass Kimi K3 selbst unter diesen für die US-Modelle günstigen Bedingungen bei Cyber-Aufgaben so weit zurückfällt, während es bei allgemeinen Benchmarks mithalten kann, passt zum Bild einer Destillation, die nur die frei verfügbaren Ausgaben eines Modells abschöpfen konnte.
Der AISI-Benchmark ist mit dieser These vereinbar: Das Institut testete die US-Modelle ohne systemseitige Schutzmaßnahmen und machte damit Cyberfähigkeiten sichtbar, die über öffentliche Schnittstellen für eine mögliche Destillation kaum zugänglich wären. Der Rückstand von Kimi K3 könnte daher dazu passen, dass ein möglicher Destillationsdatensatz primär öffentlich verfügbare und sicherheitsgefilterte Ausgaben enthielt.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
