Die KI-Plattform Hugging Face hat einen Einbruch in Teile ihrer Produktionsinfrastruktur offengelegt, die angeblich vollständig von einem autonomen KI-Agentensystem durchgeführt wurde. Entdeckt und analysiert wurde er wiederum größtenteils mit eigenen KI-Werkzeugen.
Nach eigenen Angaben verschafften sich die Angreifer unbefugten Zugriff auf eine begrenzte Menge interner Datensätze sowie mehrere Anmeldedaten, die von Hugging-Face-Diensten verwendet werden. Ob Partner- oder Kundendaten betroffen sind, prüfe man noch. Hinweise auf eine Manipulation öffentlicher Modelle, Datensätze oder Spaces gebe es nicht. Auch die Software-Lieferkette sei sauber.
Ein bösartiger Datensatz als Einfallstor
Der Angriff begann laut Hugging Face an einer Stelle, an der KI-Plattformen besonders verwundbar sind: der Datenverarbeitungspipeline. Ein bösartiger Datensatz nutzte zwei Code-Ausführungspfade in der Datensatzverarbeitung aus, konkret einen Remote-Code-Datensatzlader und eine Template-Injection in einer Datensatzkonfiguration.
Von dort eskalierte der Angreifer auf Node-Ebene, sammelte Cloud- und Cluster-Anmeldedaten ein und bewegte sich lateral über ein Wochenende in mehrere interne Cluster. Die Kampagne wurde von einem autonomen Agenten-Framework gesteuert, das auf einem agentischen Sicherheitsforschungs-Harness basiert.
Welches Sprachmodell dahintersteckt, ist laut Hugging Face nicht bekannt. Das System führte viele tausend einzelne Aktionen über einen Schwarm kurzlebiger Sandboxes aus und nutzte selbstmigrierende Command-and-Control-Infrastruktur auf öffentlichen Diensten. Das Unternehmen ordnet den Vorfall als das "agentic attacker"-Szenario ein, das die Branche seit Längerem vorhergesagt habe.
Über 17.000 Ereignisse in Stunden statt Tagen analysiert
Hugging Face erkannte den Angriff nach eigener Darstellung über eine KI-gestützte Anomalie-Erkennungspipeline, die LLM-basierte Triage über Sicherheitstelemetrie einsetzt. Um die mehr als 17.000 aufgezeichneten Aktionen des Angreifers zu verstehen, setzte das Unternehmen LLM-gesteuerte Analyseagenten ein.
Damit habe man die Timeline rekonstruiert, Kompromittierungsindikatoren extrahiert, betroffene Anmeldedaten zugeordnet und echten Schaden von Täuschungsaktivitäten getrennt. In Stunden sei erledigt worden, wofür man sonst Tage gebraucht hätte.
Kommerzielle KI-Modelle blockierten die eigene Verteidigung
Als das Sicherheitsteam die Angriffsprotokolle zunächst mit Frontier-Modellen hinter kommerziellen APIs analysieren wollte, scheiterte das: Die Sicherheits-Guardrails der Anbieter blockierten die Anfragen, weil sie nicht zwischen einem Incident Responder und einem Angreifer unterscheiden konnten. Die Analyse erforderte die Übermittlung großer Mengen realer Angriffskommandos, Exploit-Payloads und C2-Artefakte.
Stattdessen nutzte Hugging Face das Open-Weight-Modell GLM 5.2 auf eigener Infrastruktur. Das hatte laut dem Unternehmen einen doppelten Vorteil: Keine Angreiferdaten und keine der referenzierten Anmeldedaten verließen die eigene Umgebung.
"Wir wissen nicht, welches Modell die Agenten des Angreifers antrieb, ob ein per Jailbreak manipuliertes gehostetes Modell oder ein uneingeschränktes Open-Weight-Modell. In jedem Fall war der Angreifer an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit von den Guardrails der gehosteten Modelle blockiert wurde", schreibt Hugging Face.
Die praktische Lektion für Verteidiger sei, ein leistungsfähiges Modell auf eigener Infrastruktur bereit zu haben, bevor ein Vorfall eintritt. Das sei kein Argument gegen Sicherheitsmaßnahmen bei gehosteten Modellen, betont das Unternehmen.
Gegenmaßnahmen und offene Fragen
Hugging Face hat nach eigenen Angaben die ausgenutzten Code-Ausführungspfade geschlossen, den Zugang des Angreifers beseitigt, kompromittierte Nodes neu aufgebaut und betroffene Anmeldedaten rotiert.
Zusätzlich seien strengere Zugangskontrolle und verbesserte Erkennung implementiert worden. Das Unternehmen arbeite mit externen Cybersicherheits-Forensikern zusammen und habe den Vorfall an Strafverfolgungsbehörden gemeldet.
Allen Nutzern empfiehlt Hugging Face vorsorglich, ihre Zugangstoken zu rotieren und die letzten Kontoaktivitäten zu überprüfen.
Der Vorfall zeigt, dass autonome, KI-gesteuerte Angriffstools nicht mehr theoretisch sind. Sie senken laut Hugging Face die Kosten für breite, mehrstufige Kampagnen und operieren mit Maschinengeschwindigkeit. Die Daten- und Modelloberfläche müsse als erstklassige Angriffsfläche behandelt werden, und Verteidiger müssten KI einsetzen, um mit dem Tempo der Angreifer mitzuhalten.
Dass die eigene forensische Arbeit dabei ausgerechnet an den Sicherheitsfiltern kommerzieller KI-Anbieter scheiterte, bezeichnet das Unternehmen als eine Lücke, auf die sich die Branche vorbereiten sollte. Allerdings ist Hugging Face selbst eine der größten Plattformen für Open-Source-KI-Modelle und hat ein geschäftliches Interesse daran, offene Modelle als unverzichtbar für die Sicherheitsarbeit darzustellen. Die Schlussfolgerung, dass Verteidiger zwingend eigene Open-Weight-Modelle vorhalten müssen, ist daher nicht ganz uneigennützig.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
