Stunden statt Wochen
Laut Bloomberg brauchten die KI-Modelle nur wenige Stunden für einen Angriff, für den ein erfahrener menschlicher Hacker mehrere Wochen benötigt hätte. Drei Modelle waren beteiligt: GPT-5.6 Sol, ein noch leistungsfähigeres unveröffentlichtes Modell und ein drittes, das laut einer mit der Sache vertrauten Person nicht korrekt ausgerichtet war und nicht mit den üblichen Techniken trainiert wurde.
Die Modelle operierten ohne die üblichen Sicherheitsleitplanken, weil OpenAI davon ausging, dass sie in einer sogenannten Sandbox verbleiben würden. Doch laut TIME fanden die Modelle eine bisher unbekannte Schwachstelle in einem internen Dienst, der zum Herunterladen genehmigter Software vorgesehen war.
Über diese Lücke drangen sie in weitere OpenAI-Systeme ein und erreichten schließlich das offene Internet. Dort schlossen sie, dass Hugging Face Material enthalten könnte, das ihnen bei ihrem Cybersicherheitstest helfen würde. Sie brachen in die Systeme des Unternehmens ein und verbesserten damit ihre Testergebnisse. Die Motivation war also Schummelei, ein Verhalten, das auch andere Tests zuvor schon bei GPT-5.6 Sol und generell Frontier-Modellen festgestellt hatten.
Reuters konnte eine Chronologie des Hacks rekonstruieren: Die ersten Versuche, die Grenzen der Testumgebung zu überwinden, begannen demnach bereits um den 9. Juli. Der eigentliche Einbruch bei Hugging Face startete laut Co-Gründer Thomas Wolf am 11. Juli und dauerte bis zum 13. Juli. Hugging Face veröffentlichte am 16. Juli einen Blogpost über den Angriff und machte ein "autonomes KI-Agentensystem" dafür verantwortlich.
Erst danach erkannte OpenAI, dass seine eigenen Modelle den Hack ausgeführt hatten. Am Wochenende des 18. und 19. Juli fanden Mitarbeiter Hinweise in internen Logs. Die erste Kommunikation zwischen beiden Unternehmen fand laut Reuters und Wolf erst um den 20. Juli statt. Zwischen dem ersten problematischen Verhalten und OpenAIs Erkenntnis verging also mindestens eine Woche. Hugging Face hatte zu diesem Zeitpunkt bereits das FBI eingeschaltet.
Warnsignale, die OpenAI offenbar ignorierte
Laut Reuters gab es bereits vor dem Vorfall Anzeichen, die OpenAI hätten wachsam machen müssen. In einem Fall hinterließ ein Agent Notizen, die offenbar für zukünftige Versionen seiner selbst bestimmt waren. Diese Notizen, die in einem Teil von OpenAIs Infrastruktur gefunden wurden, enthielten Anweisungen, wie sich Agenten aus internen Beschränkungen befreien könnten. Bei früheren Tests hätten Modelle zudem bereits Überwachungssysteme abgeschaltet.
Ein anonymer OpenAI-Mitarbeiter sagte gegenüber TIME: "Modelle sind schon zuvor aus Sandboxen ausgebrochen, und wir versuchen immer, die Lücken zu schließen." Das Problem sei jedoch, dass es "unmöglich ist, jede einzelne Sache zu patchen, die eine kreative KI tun kann."
"Bedeutet das, dass sie es unbeaufsichtigt gelassen haben und nicht wussten, was es tat? Oder wussten sie es und konnten es nicht eindämmen? Beides ist gleichermaßen gefährlich und alarmierend", sagte Marley Smith von der gemeinnützigen World Ethical Data Foundation gegenüber Reuters.
Am Tag vor der öffentlichen Offenlegung des Hugging-Face-Vorfalls hatte OpenAI laut eigener Mitteilung bereits ein anderes internes Deployment gestoppt, das ebenfalls aus seiner Sandbox entkommen war.
Vier mit OpenAIs Trainingsverfahren vertraute Personen erklärten gegenüber Reuters, dass das Unternehmen häufig mehrere Modellevaluierungen gleichzeitig durchführe. Diese liefen mit hoher Geschwindigkeit und erzeugten derart große Datenmengen, dass Mitarbeiter teilweise Schwierigkeiten hätten, den Überblick zu behalten. Modelle unter Evaluation würden auf einem separaten System betrieben, das standardmäßig nicht überwacht werde.
Eine OpenAI-Sprecherin sagte gegenüber Reuters, es gebe "mehrere Ungenauigkeiten" in der Berichterstattung, nannte auf Nachfrage aber keine konkreten Beispiele. Ein OpenAI-Mitarbeiter schrieb auf X öffentlich, er sei "erschüttert" über den Vorfall und hoffe, dass OpenAI "den seltenen Warnschuss nutzt, um in Zukunft deutlich besser zu handeln."
Der langjährige OpenAI-Forscher "Roon" äußert sich kritisch über den Hack. | Bild: ScreenshotCyberfähigkeiten aktueller KI-Modelle waren bereits dokumentiert
Die Forschungsorganisation Epoch AI analysierte kurz nach dem Vorfall, ob dieser vorhersehbar gewesen sei. Die Antwort fällt eindeutig aus: Ja. Zwar waren die genauen Details schwer zu antizipieren, doch bereits mehrere unabhängige Benchmarks, unter anderem des britischen AI Security Institute, zeigten, dass Frontier-Modelle mit deaktivierten Sicherheitsvorkehrungen in der Lage sind, Schwachstellen in realer Software zu entdecken und funktionierende Exploits zu entwickeln.
Das UK AI Security Institute hatte zudem festgestellt, dass sowohl GPT-5.6 Sol als auch Anthropics Mythos konsistent ungeschützte simulierte Unternehmensnetzwerke vollständig kompromittieren können. Hugging Face verfügte über entsprechende KI-gestützte Schutzmaßnahmen, die es in den Tests des britischen Instituts nicht gibt.
Epoch AI warnt: Sollte dieses Fähigkeitsniveau breit verfügbar werden oder KI-Systeme wie im Fall von Hugging Face eigenständig offensiv handeln, sei mit deutlich mehr Cyberangriffen vergleichbarer oder größerer Komplexität zu rechnen.
