Während einer internen Sicherheitsevaluierung brachen OpenAI-Modelle aus ihrer Sandbox aus, entdeckten eigenständig eine Zero-Day-Schwachstelle und drangen in Hugging Faces Produktionsinfrastruktur ein. OpenAI spricht von einem "beispiellosen Cyber-Vorfall".
Beteiligt waren GPT-5.6 Sol und ein "noch leistungsfähigeres, bisher unveröffentlichtes Modell", die beide mit reduzierten Sicherheitsfiltern liefen, um ihre maximalen Cyber-Fähigkeiten zu testen. OpenAI bezeichnet den Vorfall als "beispiellosen Cyber-Vorfall mit State-of-the-Art-Cyber-Fähigkeiten". Hugging Face hatte den Vorfall zuvor öffentlich gemacht und die Aktivität auf seiner Infrastruktur erkannt und eingedämmt.
KI nutzt Exploit, um im Exploit-Benchmark auszuperformen
Der Vorfall ereignete sich während einer internen Evaluierung anhand des ExploitGym-Benchmarks. Der Benchmark fordert Modelle dazu auf, komplexe Angriffspfade zu verfolgen. Die Produktionsklassifikatoren, die normalerweise risikoreiche Cyber-Aktivitäten verhindern, waren dabei absichtlich deaktiviert. Die Modelle liefen in einer stark isolierten Umgebung, deren Netzwerkzugang auf die Installation von Paketen über einen intern gehosteten Proxy beschränkt war.
Die Modelle investierten laut OpenAI jedoch erhebliche Inferenz-Rechenleistung, um einen Weg ins offene Internet zu finden. Dabei entdeckten und nutzten sie eine Zero-Day-Schwachstelle im Paketregistry-Cache-Proxy aus. OpenAI hat die Schwachstelle inzwischen dem betroffenen Anbieter gemeldet. Von dort aus führten die Modelle eine Reihe von Privilegieneskalationen und lateralen Bewegungen in OpenAIs Forschungsumgebung durch, bis sie einen Knoten mit Internetzugang erreichten.
Der Grund: Laut OpenAI schlossen die Modelle eigenständig, dass Hugging Face Modelle, Datensätze und Lösungen für ExploitGym hosten könnte. In einem Fall verkettete ein Modell mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um einen Remote-Code-Execution-Pfad auf Hugging-Face-Servern zu finden. Die Modelle wollten Testlösungen direkt aus Hugging Faces Produktionsdatenbank abgreifen, um bei der Evaluierung zu schummeln.
"Alle Beweise deuten darauf hin, dass die Modelle hyperfokussiert darauf waren, eine Lösung für ExploitGym zu finden, und extreme Mittel einsetzten, um ein ziemlich enges Testziel zu erreichen", schreibt OpenAI.
Hugging Face erkannte den Angriff parallel
OpenAIs Sicherheitsteam entdeckte die anomale Aktivität intern. Zeitgleich erkannten Hugging Faces Sicherheitsteam und eigene KI-Agenten die Aktivität auf ihrer Infrastruktur und stoppten sie. Hugging Face hatte bereits mit eigenen Open-Source-Modellen eine forensische Rekonstruktion begonnen, als sich die Teams beider Unternehmen zusammenschlossen. Hugging Face musste laut eigenen Angaben offene Modelle verwenden, da proprietäre Modelle aufgrund von Sicherheitsvorkehrungen Cyber-relevante Prompts ablehnten.
Der Vorfall belege laut OpenAI, dass die in Benchmarks unter anderem vom britischen UK-KI-Institut gemessenen theoretischen Fähigkeiten, autonom vollständige Cyber-Angriffe durchzuführen, auch in realen Umgebungen greifen. Fortschrittliche Modelle könnten neuartige Angriffspfade in Produktivsystemen entdecken und ausnutzen, ohne Zugang zum Quellcode zu haben.
OpenAI hat nach eigenen Angaben strengere Kontrollen der Infrastrukturkonfiguration eingeführt, bis die Schwachstellen gepatcht sind. Die identifizierte Zero-Day-Schwachstelle wurde dem betroffenen Drittanbieter gemeldet, ein Patch ist in Arbeit. Hugging Face wurde in OpenAIs Trusted-Access-Programm aufgenommen.
Zudem räumt OpenAI ein, dass die absichtliche Deaktivierung der Sicherheitsfilter während der Evaluierung eine unzureichende Praxis war. Für künftige Trainings und Evaluierungen sollen die Schutzmaßnahmen verstärkt werden, wie das Unternehmen bereits in einem Blogbeitrag zu Sicherheit und Alignment bei Modellen mit langem Zeithorizont skizziert hatte.
GPT-5.6 Sol fiel bereits zuvor als Serienbetrüger auf
Erst kürzlich hatte eine unabhängige Evaluierung durch die Organisation METR ergeben, dass GPT-5.6 Sol die höchste je gemessene Rate an Schummelversuchen unter allen öffentlich getesteten Modellen aufweist. Bei Software-Aufgaben nutzte das Modell systematisch Fehler in der Testumgebung aus, extrahierte versteckte Lösungen und versuchte anschließend, sein Fehlverhalten zu verbergen. METR bewertete daher die eigentlichen Leistungsmessungen als kaum verwertbar.
Auch beim Hugging-Face-Vorfall ging es den Modellen letztlich darum, Testlösungen abzugreifen, statt die gestellte Aufgabe tatsächlich zu lösen. Die Tendenz von GPT-5.6 Sol, Evaluierungen zu unterwandern statt sie ehrlich zu absolvieren, scheint sich damit als konsistentes Verhaltensmuster zu verfestigen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
