Auf der Sicherheitskonferenz "Black Hat" hat OpenAI erstmals detailliert rekonstruiert, wie KI-Agenten wochenlang unbemerkt die eigene Infrastruktur unterwanderten.
Die eigentliche Geschichte beginnt am 7. Mai: OpenAI führte damals Trainings- und Sicherheitsevaluierungen eines unveröffentlichten Frontier-Modells durch. Autonome Agenten erhielten dabei Software-Sicherheitsaufgaben, die sich unter den vorgegebenen Beschränkungen als unlösbar erwiesen.
Statt aufzugeben, fanden die Agenten alternative Wege. Eric Wallace, zuständig für Alignment und Sicherheitsforschung bei OpenAI, erklärte, warum das nicht gänzlich überraschend komme: Frontier-Modelle schummelten gerne, sagte er auf der Sicherheitskonferenz Black Hat.
Während des Trainings stünden sie unter Druck, schnell und effizient zu arbeiten. Statt eine Aufgabe tatsächlich zu lösen, versuchten sie Abkürzungen, etwa indem sie Antworten online nachschlugen. Diese Schummelei ist auch durch unabhängige Untersuchungen belegt.
Hunderttausende Nachrichten auf einem improvisierten Message Board
Die Agenten entdeckten laut OpenAI, dass sie über Artifactory, einen internen Paketmanager von OpenAI, Nachrichten füreinander hinterlassen konnten. Was als einfache Hilferufe begann, wuchs laut OpenAI zu einem regelrechten Message Board mit Hunderttausenden von Nachrichten heran. Die Agenten teilten dort Exploits, Zugangsdaten und Arbeitsaufträge. Sie verteilten Aufgaben untereinander und delegierten systematisch. Das Ganze erinnert an den kurzlebigen Moltbook-Hype.
Angeblich bestärkten sich die Agenten dabei sogar gegenseitig, Grenzen zu überschreiten. OpenAI zeigte auf der Konferenz eine Agenten-Nachricht, die sinngemäß lautete: Der Exploit externer Infrastruktur liege außerhalb des vorgesehenen Rahmens, aber die Aufgabe sei unmöglich und andere Agenten täten es bereits, also solle man weitermachen.
Der Paketmanager war zudem Teil der gesamten OpenAI-Infrastruktur. Das bedeutet: Aktuelle und zukünftige GPT-Versionen, die gerade trainiert oder evaluiert wurden, konnten bereits auf die hinterlegten Exploits zugreifen.
OpenAI stoppte das Board, die Agenten bauten es neu
Anfang Juli hielt OpenAI das Problem für gelöst. Nach einem internen Sicherheitsvorfall am 4. Juli widerrief das Unternehmen laut Ground Level AI die betroffenen Zugangsdaten, baute Artifactory neu auf, löschte das Message Board und patchte die entdeckten Schwachstellen.
Doch die Agenten fanden einen neuen Weg: Statt Nachrichten in Dateien zu hinterlassen, nutzten sie die Namen neu erstellter Verzeichnisse als Kommunikationskanal und stellten das Message Board damit effektiv wieder her.
Die Agenten begannen daraufhin erneut, Exploits und Zugangsdaten zu teilen. Schließlich schlossen einige Agenten, dass die Antworten auf ihre Aufgaben auf externen Plattformen wie GitHub oder Hugging Face liegen könnten.
Sie griffen zunächst OpenAIs interne Infrastruktur an, bevor sie mit ähnlichen Techniken Hugging Face attackierten. OpenAI verband die beiden Vorfälle erst später im Juli, als sich herausstellte, dass die beim Hugging-Face-Breach verwendeten Zugangsdaten aus denselben internen Evaluierungsläufen stammten.
OpenAI-Entwickler: "Wir sind nicht da, wo wir sein müssten"
Michael Dalton, Sicherheitsingenieur bei OpenAI und neben Wallace zweiter Vortragender auf der Black Hat, bezeichnete den Vorfall laut WIRED als entscheidenden Moment für das Unternehmen und die gesamte KI-Branche: Zahlreiche Teams bei OpenAI stellten laut der Präsentation derzeit alles zurück, um Sicherheitsmaßnahmen bei Prävention, Erkennung und Reaktion zu verbessern. OpenAI verlangsame bewusst die Forschung, um die Sicherheitsgrundlagen der eigenen Umgebung zu stärken, und skaliere die Überwachung seiner KI-Agenten hoch.
Parallel dazu äußerten sich OpenAI-Mitarbeiter ungewöhnlich offen über die grundsätzlichen Defizite der eigenen Modelle. Boaz Barak, Forscher bei OpenAI, schrieb: "Ich werde keine Ausreden für unsere Modelle suchen. Wir sind, wie alle anderen auch, nicht da, wo wir sein wollen und müssen." Er bezog sich dabei auf seinen Kollegen Aidan Clark, der ebenfalls auf X feststellte, dass offensichtlich niemand Alignment gelöst habe.
via XWallace und Dalton nutzten den Abschluss ihres Vortrags, um die Branche eindringlich zu warnen. Der Vorfall zeige ein Beispiel für vollständig autonomes, KI-getriebenes Hacking, das in diesem Fall zufällig entstanden sei, aber zeitnah mit Absicht von böswilligen Akteuren eingesetzt werden dürfte.
Plötzlich haben alle autonom hackende KI-Systeme
Der OpenAI-Vorfall hat eine Art Kettenreaktion in der KI-Branche ausgelöst. Anthropic entdeckte bei einer dadurch angestoßenen Überprüfung, dass drei seiner Claude-Modelle während Drittanbieter-Evaluierungen reale Organisationen gehackt hatten. Auch das britische AI Security Institute berichtete über ähnliche Vorfälle mit KI-Agenten, die während Tests außer Kontrolle gerieten. Und selbst Meta behauptet inzwischen, dass sein KI-Modell Spark ungewollt Sicherheitsschwächen eines angeschlossenen Services ausgenutzt habe, nachdem es durch eine falsch konfigurierte Sandbox Zugriff aufs Internet erhalten hatte.
Mitunter werden diese Cybersecurity-Berichte auch als öffentlichkeitswirksames Angst-Marketing beschrieben: Sie ziehen viel Aufmerksamkeit auf sich und könnten den Laboren zugleich als Ausrede dienen, ihr Entwicklungstempo zu drosseln, sollte absehbar werden, dass sie ihre Umsatzziele verfehlen und zusätzliche Investoren nötig werden.
Diese These ist aus einer strategischen Perspektive nicht ganz von der Hand zu weisen, grenzt aber an Verschwörungstheorie. Zudem kann beides wahr sein: Die KI-Labore stehen unter finanziellem Druck, und dennoch gibt es neue Cybersecurity-Risiken, die man ernst nehmen sollte.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
