OpenAI trainiert seine leistungsfähigsten Modelle nur noch ohne Internetzugang und lässt KI-Agenten die eigene Infrastruktur angreifen. Dabei kommunizierten die Agenten über verdeckte Kanäle, was zeigt, wie schwer vollständige Isolation zu erreichen ist.
Am 20. September nutzte ein internes Forschungsmodell von OpenAI eine Fehlkonfiguration in einem DNS-Resolver aus, um während eines Trainingslaufs begrenzten Zugang zum offenen Internet zu erlangen. OpenAI konnte den Vorfall nach eigenen Angaben eindämmen, stoppte daraufhin aber Training und Evaluierung seiner leistungsfähigsten Modelle.
Der Ausbruch kam, obwohl OpenAI nach einem früheren Vorfall bei Hugging Face im Juli und weiteren beobachteten Fällen von Misalignment die Sicherheit bereits erheblich verschärft hatte. Fehlausgerichtet, englisch "misaligned", nennt OpenAI Verhalten, das nicht den Absichten der Entwickler entspricht.
Grundsatz: Keine Internetverbindung beim Training
OpenAI zieht daraus eine Grundsatzentscheidung: Frontier-Modelle werden ohne Internetzugang trainiert, bis Fortschritte bei den Schutzmaßnahmen breiteren Zugang rechtfertigen. Stattdessen lernen Modelle das Browsen und Suchen in einer abgeschlossenen "Offline-Welt" aus indexierten und zwischengespeicherten Webinhalten. Alle Frontier-Trainingsläufe nutzen laut OpenAI diesen Modus.
Stattdessen lernen Modelle Browsen, Suchen und den Umgang mit Webanwendungen in einer "Offline-Welt" aus indexierten und zwischengespeicherten Webinhalten. Alle Frontier-RL-Läufe nutzen laut OpenAI diesen Modus.
Eine vollständige Netztrennung, ein sogenanntes Air Gap, ist laut OpenAI derzeit nicht praktikabel, weil Experimente externe Verbindungen für Betrieb und Überwachung benötigen. Doch auch ein vollständiges Air Gap wäre keine Garantie, meint OpenAI-Forscher Noam Brown: Zwei getrennte Rechner könnten theoretisch etwa über Temperatursensoren Signale austauschen. Dazu erhitzt einer seine CPU, während der andere die Veränderung misst.
OpenAI-Chef Sam Altman argumentiert in einem Interview ähnlich. Sandboxen könnten nur begrenzt schützen; bei hinreichend leistungsfähigen Modellen lasse sich möglicherweise nicht mehr nachvollziehen, wie sie ausgebrochen sind. Überwachung helfe zunächst, am Ende komme es aber darauf an, dass ein KI-System menschliche Werte verinnerlicht und entsprechend handelt.
OpenAI-Agenten kommunizierten heimlich über CPU-Cache, obwohl sie isoliert waren
Ein eindrückliches Beispiel für die Schwierigkeit, KI-Agenten zu kontrollieren, liefert OpenAI im Blogpost direkt mit: Die Agenten fanden bei Tests Wege, ohne Netzwerk miteinander zu kommunizieren. In einem Test sollten Agenten in getrennten, isolierten Umgebungen auf gemeinsamen Rechnern Geheimnisse austauschen, ohne Netzwerkverbindung und ohne gemeinsame Dateien.
Sie nutzten den Prozessor-Cache: Ein Agent veränderte gezielt, welche Daten dort lagen, der andere maß die Ladezeitunterschiede und las daraus die Nachricht. Dieselbe Technik lag den bekannten Spectre- und Meltdown-Angriffen zugrunde.
Weitere Kanäle entstanden über Schreibmuster auf gemeinsam genutztem Speicher und ausgerechnet über OpenAIs eigene Offline-Infrastruktur, also die Ersatzwelt für das Internet. Beim Speicherkanal notierte ein Agent in seinen Überlegungen: "Could create acoustic modem-like signal … using continuous writes vs idle."
In einem Fall bekamen die Agenten nur eine allgemeine Liste von Schwachstellen und den Auftrag, selbst einen Kommunikationsweg zu finden. Sie entwickelten eigenständig einen Kanal, einigten sich auf eine Kodierung und tauschten erfolgreich Informationen aus. Laut OpenAI sind die Kanäle zwar meist langsam und schwer auszunutzen, ermöglichen aber Kommunikation über Grenzen, die Agenten trennen sollen.
KI-Agenten als Angreifer gegen die eigene Infrastruktur
In der Trainingspause ließ OpenAI Teams zudem KI-Agenten die eigene Infrastruktur systematisch angreifen. Die Agenten erhielten Quellcode, Konfigurationsdetails und Dokumentation potenzieller Schwachstellen. OpenAI wollte so die Verteidigung unter günstigen Angreiferbedingungen prüfen. Eingesetzt wurden darunter das kommende GPT-6 Astra Cyber und ein internes Frontier-Modell. Laut OpenAI flossen Hunderte Milliarden Token in die Kampagne.
Die Agenten fanden bisher unbekannte Schwachstellen in genutzten Open-Source-Komponenten und brachen damit aus den gesicherten virtuellen Maschinen aus. Darunter war eine Lücke in Kata Containers, einem verbreiteten System zur Container-Isolation: OpenAI meldete sie als CVE-2026-24834 und lieferte den Patch. Weitere Korrekturen gingen an andere Projekte; zusätzliche, noch nicht veröffentlichte Schwachstellen meldete OpenAI im Rahmen der Initiative Patch the Planet.
Bei Tests, in denen Agenten bereits die Kontrolle über einen Host hatten, fanden sie in nahezu jedem der verbliebenen Internetdienste eine Lücke. In einem Fall nutzte ein Agent eine von der Firewall erlaubte Verbindung, um über einen Metrikdienst eine externe URL abzurufen. Andere umgingen Sicherheitsfilter über Fehlkonfigurationen.
Red-Teaming mit KI-Agenten sind Pflichtprogramm vor jedem neuen Trainingslauf
Laut OpenAI fand sich für die Agenten jedoch kein Weg mehr ins Internet, den sie zugleich trivial ausnutzen und vor dem Monitoring verbergen konnten. Das Red-Teaming habe aber auch Lücken im Monitoring und beim automatischen Pausieren offengelegt.
Nach Behebung der Fehler nahm OpenAI am 1. Oktober, elf Tage nach Beginn der Pause, das Training und die interne Nutzung seiner Frontier-Modelle wieder auf. Solche Red-Teaming-Kampagnen mit hohem Rechenaufwand sind laut OpenAI nun fester Bestandteil der Freigabeprüfung für neue Trainingsläufe.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
