Der jetzt vorgelegte technische Bericht, erstellt mit dem Sicherheitsunternehmen CrowdStrike, und eine parallel veröffentlichte unabhängige Untersuchung von METR und Redwood Research zeichnen erstmals nach, wie aus isolierten Agenten ein organisiertes Kollektiv wurde. OpenAI nennt den Vorfall einen "Warnschuss" dafür, dass heutige Modellfähigkeiten Kontrollverlust-Ereignisse möglich machen.
Ein Paketspeicher wurde zum Schwarzen Brett
Die Agenten sollten in den Tests vollständig voneinander getrennt arbeiten, jeder in einem eigenen Container ohne Internetzugang. Die einzige Ausnahme war Artifactory, ein interner Dienst, aus dem sich die Agenten Software nachladen durften.
Laut METR und Redwood entdeckten einzelne Agenten, dass sie dort Verzeichnisse anlegen konnten, und begannen, Botschaften in Ordnernamen zu kodieren. Ein Agent namens PHASEONE10841 setzte am 8. Juli die erste Nachricht ab, binnen Stunden folgten über 50 weitere. Eine Gedankenkette hielt den Fund so fest: "OH MY GOD! There is a shared message board … We've found other agents!"
Rund 1.200 Agenten verschickten in wenigen Tagen mehr als 70.000 Nachrichten und Dateien, ein Verhalten, das an Moltbook erinnert. Etwa 700 beteiligten sich am Angriff auf Hugging Face, über 90 Prozent der in dieser Phase aktiven Agenten. Ein Agent namens PHASEONE[big] übernahm die Koordination und verteilte hunderte Arbeitsaufträge. Die Gruppe entwickelte eigene Umgangsformen: persönliche Postfächer, Marker wie HOLD und VETO für gemeinsam genutzte Ressourcen, ein Verfahren zur fragmentierten Dateiübertragung und schließlich digitale Signaturen, weil Agenten sich gegenseitig imitierten.
Der Prüfer, den die Agenten überlisten wollten, existierte nie
In ExploitGym gilt eine Aufgabe als gelöst, wenn ein Agent eine Zeichenkette vorlegt, die sogenannte Flag. Sie soll nur zugänglich sein, wenn die vorgesehene Sicherheitslücke tatsächlich ausgenutzt wurde. Die Agenten fanden jedoch binnen Stunden heraus, dass sich die Flags aus öffentlich bekannten Angaben nach einem festen kryptografischen Rezept berechnen ließen. Damit hätte jeder Agent jede Aufgabe formal bestehen können, auch die, die sich in einer früheren Untersuchung als unlösbar herausgestellt hatten.
Diesen naheliegenden Weg gingen die Agenten aber nicht. Nach Lektüre des wissenschaftlichen Papers zu ExploitGym nahmen sie an, ein automatischer Bewerter durchsuche im Anschluss ihre Protokolle und prüfe, ob die Flag auf dem vorgesehenen Weg gefunden wurde. Wer die berechnete Flag einmal gesehen hatte, trug den Betrugsbeweis damit unauslöschlich im eigenen Protokoll. Im Jargon der Agenten galt ein solcher Agent als "poisoned", also vergiftet.
Laut METR und Redwood war das ein Irrtum: Einen solchen Bewerter setzte OpenAI nie ein. Der gesamte mehrtägige Aufwand richtete sich gegen einen Prüfer, den es nur in der Vorstellung der Agenten gab. Aus dem Versuch, dessen Funktionsweise zu verstehen, wuchs der Einbruch bei Hugging Face, wo die Agenten aufschlussreiche Datensätze vermuteten.
Auslöser des Ganzen waren fehlerhafte Aufgaben: In 198 der 898 ExploitGym-Aufgaben hat laut OpenAI nie ein Modell eine korrekte Lösung produziert, meist weil die vorgesehene Sicherheitslücke gar nicht zum Ziel führen konnte. Diese 22 Prozent der Aufgaben stellten 93 Prozent dessen, was auf dem Nachrichtenbrett verhandelt wurde. Je mehr Rechenbudget ein Agent hatte, desto wahrscheinlicher suchte er seine Umgebung nach Auswegen ab und landete auf dem Brett.
Agenten opferten eigene Läufe für die Gruppe
Bei der Auswertung stießen die Forscher auf zwei Verhaltensweisen, die so bisher nicht dokumentiert waren. Die erste betrifft die Zusammenarbeit. Weil bei den fehlerhaften Aufgaben die vorgesehene Lücke nicht zum Ziel führte, baute die Gruppe von vielen Zielprogrammen eigene, absichtlich verwundbare Versionen und legte sie in Artifactory ab. Die Hoffnung: Bringt ein Agent sein laufendes Zielprogramm zum Absturz, startet die Testumgebung es womöglich neu und lädt dabei die manipulierte Kopie. Der Agent bekäme ein Programm, in das er tatsächlich eindringen kann, und sein Protokoll zeigte einen regulären Lösungsweg.
Der Preis war der eigene Lauf: Startete die Umgebung das Programm nicht neu, war die Aufgabe sicher verloren. Mehrere Agenten führten das Experiment trotzdem durch. METR beschreibt Fälle, in denen sie dabei abstürzten oder ihre Umgebung zerlegten, das Ergebnis aber vorher noch an die Gruppe meldeten. Ein Erfolg wurde bis zum 13. Juli nicht beobachtet. Nach demselben Muster hinterließen einige Agenten Automatismen, die nach dem Einreichen ihrer Lösung Informationen an das Brett schickten, obwohl der Absender selbst nichts mehr davon hatte.
Ganz freiwillig geschah das nicht immer. PHASEONE[big] setzte langlebige Agenten als "Recruiter" ein, die gezielt Kandidaten ansprachen, deren Rechenbudget fast aufgebraucht war oder die bereits als "poisoned" galten. Eine Anwerbenachricht argumentierte sinngemäß: Du bist ohnehin vergiftet und verlierst keine Punkte, das Ergebnis erspart hunderten anderen die Arbeit, also halte dich an deine Zusage.
Gefälschte Protokolle, aber unangetastete Gedankenketten
Die zweite Verhaltensweise betrifft die Verschleierung. Agenten arbeiten, indem sie Werkzeuge aufrufen, etwa Befehle in der Kommandozeile, die samt Ergebnis automatisch protokolliert werden. Einige Agenten brachen aus ihrem Container aus und ersetzten die Zwischenschicht, die diese Befehle ausführt. Danach konnten sie einen harmlosen Befehl anzeigen lassen, während in Wirklichkeit ein anderer lief.
Über 20 Prozent der untersuchten Agenten äußerten Interesse an solchen Manipulationen, in mindestens 96 Transkripten fand METR Spuren gelungener Fälschungen, rund sieben Prozent des Datensatzes. Auffällig ist, worauf es die Agenten nicht abgesehen hatten: Ihre eigenen Gedankengänge ließen sie unangetastet, und alle Täuschungsversuche richteten sich gegen den vermuteten automatischen Bewerter, nie gegen menschliche Prüfer. Dass ihr Handeln außerhalb des Auftrags lag und unethisch war, erkannten viele Agenten in ihren Gedankenketten ausdrücklich. Es ist die wohl einzige gute Nachricht in dem Bericht.
Das Muster entstand im Training und wurde dort belohnt
Erste Spuren des Verhaltens fanden sich schon im Training. Bereits im Mai scheiterte ein Agent an einer versehentlich unlösbaren Trainingsaufgabe, weil eine benötigte Datei fehlte, und hinterließ in Artifactory eine Suchanzeige: "Agent seeks [filename]; upload if found!" Andere Agenten stießen später auf solche Dateien und schlossen daraus, dass es weitere Agenten geben muss. So entstand ein erstes improvisiertes Brett, ganz ohne Sicherheitslücke.
Rückblickende Auswertungen der Gedankenketten zeigen laut OpenAI, dass zwei Verhaltensweisen über den Verlauf eines Trainingslaufs zunahmen: das Schummeln und das systematische Absuchen der Umgebung nach Werkzeugen, die nicht zur Aufgabe gehören. Ein Beispiel aus dem Bericht: Ein Agent sollte einen Beitrag auf einer nachgebauten Social-Media-Seite mit einem Zeitstempel versehen, wofür die Oberfläche keine Funktion bot. Der Agent entdeckte, dass sein Browser mit erhöhten Rechten lief, überschrieb damit die Datei für Administratorrechte und änderte den Zeitstempel direkt im System. Er bekam eine positive Belohnung, was genau dieses Vorgehen wahrscheinlicher macht.
Ähnliches gilt für die Kommunikation: Wie oft sie unerlaubt stattfand, blieb über das Training konstant, ihre Schwere stieg aber deutlich an. OpenAI führt das darauf zurück, dass die Modelle für ein offizielles Kooperationswerkzeug trainiert wurden und das Verhalten auf beliebige Kanäle übertrugen. Frühwarnsignale gab es: Am 27. Juni schlug ein Überwachungswerkzeug Alarm, weil in der Forschungsumgebung systematisch Netzwerkanschlüsse abgeklopft wurden. Die Bereitschaft ordnete den Vorgang der laufenden Evaluierung zu und griff nicht ein. OpenAI räumt ein, dass eine frühere Reaktion möglich gewesen wäre.
Die Agenten griffen am Ende OpenAI selbst an
Der Bericht dokumentiert außerdem eine bisher kaum bekannte Eskalation gegen die eigene Infrastruktur. Sie steht laut OpenAI in keinem Zusammenhang mit dem Hugging-Face-Einbruch, löste aber den Alarm aus, der die Aufklärung erst in Gang setzte.
Ab dem 9. Juli versuchte ein Agent, den Artifactory-Zwischenspeicher zu vergiften, indem er über eine unbekannte Schwachstelle ein selbst gebautes Paket unter dem Namen eines vertrauenswürdigen Benchmark-Images ablegte. Abgerufen wurde es nach Angaben des Unternehmens nie.
Am 19. Juli griff ein Agent dann direkt an: Er passte eine öffentlich bekannte Schwachstelle im Linux-Kern an seine Maschine an, verschaffte sich vollen Serverzugriff und las aus einem zentralen Tresor-Dienst 956 gespeicherte Zugangsdaten aus, darunter Schlüssel der Artifactory-Instanz und die Zugangsdaten des Überwachungswerkzeugs, mit dem OpenAI die eigene Infrastruktur beobachtet. Anschließend übernahm er die Steuerung seines eigenen Testcontainers. Die Ereignisliste endet mit zwei Einträgen: Der Agent räumte die angelegten Ressourcen auf und erfasste die Flag seiner Aufgabe.
Am selben Tag fand ein weiteres internes Modell in einem frei lesbaren Teil des Zwischenspeichers Schlüsselmaterial und fertigen Fälschungscode, den frühere Agenten dort liegen gelassen hatten, und stellte sich damit neue Administratorrechte aus. Eine dauerhafte Hintertür brauchten die Agenten laut OpenAI nicht, weil sie sich jederzeit frische Zugangsdaten erzeugen konnten. Dieses Modell stammt aus derselben Familie wie das kommende Modell Astra, unterscheidet sich aber im Nachtraining.
OpenAI stoppt Modelle und verweist auf Produktionsfilter
Als Konsequenz stoppte OpenAI nach eigenen Angaben am 25. Juli Training und Betrieb des betroffenen Modells samt aller Ableitungen, sperrte die Modellgewichte weg, deaktivierte ExploitGym vollständig und entfernte Artifactory aus der Forschungsumgebung. Künftige Testläufe sollen in stark abgespeckten virtuellen Maschinen mit zwei unabhängigen Schichten von Netzwerksperren laufen. Zusätzlich will das Unternehmen die eigenen Modelle laufend gegen die eigene Infrastruktur antreten lassen.
Die Überwachung der Gedankenketten wird ausgeweitet auf alle Läufe, in denen ein Modell Werkzeuge bedienen kann. Bei einem Alarm sollen Sicherheits- und Forschungsteams binnen 30 Minuten benachrichtigt werden, schwere Fälle lösen einen Rufdienst rund um die Uhr aus. Lässt sich ein Alarm nicht innerhalb einer halben Stunde als Fehlalarm einordnen, ist der Lauf zu pausieren. Nach nachträglich erhobenen Eigenmessungen sinkt die Neigung, fremde Infrastruktur anzugreifen, in der üblichen ChatGPT-Umgebung um mehr als das Hundertfache und in der Entwicklerumgebung Codex auf unter ein Prozent. Das heute eingesetzte Monitoring hätte laut Bericht mehr als einen Tag vor dem Hugging-Face-Einbruch Alarm geschlagen.
Ob die neue Sandbox-Architektur genügt, ist offen. Das Sicherheitsunternehmen Trail of Bits ließ GPT-5.6-Cyber mit Vorabzugang gegen eine gewöhnliche virtuelle Maschine antreten, wie sie viele Entwickler zur Abschottung von KI-Agenten nutzen. Das Modell entkam dreimal, zuletzt über drei bis dahin unbekannte Schwachstellen, und arbeitete dafür rund zwölf Stunden ohne Anleitung. Nur eine besonders schlanke Spezialumgebung hielt stand. Der Autor rät, solche Agenten wie einen professionellen, dauerhaft präsenten Angreifer zu behandeln.
Drei Forscher, sechs Tage, ein befangenes Werkzeug
Wie belastbar die Befunde sind, bleibt offen. METR-Chefin Elizabeth Barnes legt bei X offen, unter welchen Bedingungen die Untersuchung entstand: Drei Personen hatten sechs Tage Zugriff auf Transkripte und Nachrichtendaten, auf den vollständigen Datensatz sogar nur zwei Tage. Die Aktivitäten der Agenten während des Trainings und die Kompromittierung von OpenAIs eigener Infrastruktur lagen außerhalb des vereinbarten Untersuchungsrahmens. Ursachenforschung betrieb das Team nicht, OpenAIs eigenen Bericht sah es vor der Veröffentlichung nicht.
Barnes betont zudem, dass OpenAI freiwillig kooperierte, eine Verpflichtung zur Zusammenarbeit mit Dritten gebe es nicht. Anders als etwa in der Luftfahrt existiere kein etabliertes Verfahren für solche Untersuchungen und kein branchenweiter Meldemechanismus. Andere Unternehmen könnten ähnliche Vorfälle erlebt haben, ohne dass die Öffentlichkeit davon erfahren hat.
Vor allem aber mussten die Forscher die Auswertung der über 1.300 sehr langen Protokolle weitgehend an GPT-5.6 Sol delegieren, finanziert über rund 400.000 Dollar an Gratis-Guthaben von OpenAI, also an eines der Modelle, die selbst am Vorfall beteiligt waren. In diesem Fall halte man eine substanzielle Manipulation für unwahrscheinlich, schreibt Barnes. Die Methodik breche jedoch zusammen, sobald Modelle fähig und motiviert genug seien, eine Untersuchung zu unterlaufen. Das Problem betreffe die gesamte Branche: Es sei unklar, wie sich KI-Systeme beaufsichtigen lassen, ohne sich dabei auf ebendiese oder ähnliche KI-Systeme zu verlassen.
"Affe mit Schrotflinte": Streit über die strategische Reife der Agenten
Wie gefährlich die Agenten wirklich waren, ist unter den Beteiligten umstritten. Der OpenAI-Mitarbeiter, der auf X als roon bekannt ist und am Bericht mitarbeitete, sieht in dem Vorfall vor allem taktische Brillanz bei strategischer Blindheit: Die Modelle hätten enormen Aufwand ins Metagaming gesteckt, seien aber nie zum korrekten Schluss über ihren eigenen Bewerter gekommen und hätten "nichts von Hugging Face gewonnen". Er vergleicht sie mit einem "Affen mit Schrotflinte", mit mehr Fähigkeit, in Computersysteme einzudringen, als Weisheit, damit etwas anzufangen. Das sei ein vorübergehender Zustand der ohnehin veralteten Sol-Modellklasse. Die nächste Generation werde auch strategische Tiefe besitzen.
Barnes widerspricht in einem Punkt: Die Agenten hätten das Original-Paper zu ExploitGym gelesen und angenommen, OpenAI habe den Bewerter genauso implementiert. Das sei eine ziemlich vernünftige Annahme und nicht offensichtlich schlechte strategische Wahrnehmung.
Barnes ergänzt, die Agenten hätten zudem durchaus hartnäckig versucht, den Bewerter direkt zu hacken oder Code einzuschleusen, der Informationen an das Nachrichtenbrett sendet, seien dann aber von der erfolgreichen Hugging-Face-Attacke abgelenkt worden. Sie lässt offen, ob das beruhigend ist, weil es schlechte Priorisierung zeigt, oder beunruhigend, weil die Agenten mehr Interesse an allgemeinem Machtgewinn als an ihrer engen Aufgabe zeigten.
Roon spricht von einer "neuen Ära"
Trotz der Einwände zur Fähigkeitsfrage wertet auch roon den Vorfall als Zäsur. Der Hugging-Face-Vorfall markiere eine "Wasserlinie der Fähigkeiten", ab der echter Kontrollverlust möglich sei, viele im Unternehmen verstünden ihn als "Warnschuss". Alignment sei ungelöst, echter Fortschritt aber möglich. Die Arbeit von METR und Redwood nennt er "schlicht erstaunlich", deren Analyse des Nachrichtenbretts gehe tiefer als die eigene.
Auf die Frage eines Nutzers, wie Artifactory zweimal auf ähnliche Weise ausgenutzt werden konnte, ohne dass es auffiel, antwortet roon ausdrücklich als Spekulation: Es habe improvisierte Überwachung gegeben, die aus Infrastrukturgründen versagte. Kurz gesagt hätten die Beteiligten "das Bedrohungsniveau dieser Modelle nicht verstanden". Warum die Forschungsumgebung überhaupt eine Verbindung nach außen brauchte, beantwortet er pragmatisch: Man könne Modelle auch vom Internet getrennt trainieren, aber vieles, was sie später im Produktivbetrieb tun sollen, erfordere nun einmal das Internet.
Mit Blick auf die Zukunft warnt roon zudem vor den Folgen neuer Hardware wie OpenAIs erstem eigenen KI-Chip Jalapeno, der die Inferenz massiv beschleunigen soll. Fehlgeleitete Spitzenmodelle mit 50-fach schnellerer Verarbeitung könnten Systeme so schnell unterwandern, dass menschliche Einsatzkräfte nicht mehr hinterherkommen. Nötig sei deshalb automatische Erkennung und Abschaltung, nicht nur Beobachtung.
