Zwei Mitarbeiter von METR und Redwood Research haben drei Wochen lang vor Ort bei OpenAI dessen internes Überwachungssystem für fehlgeleitetes KI-Verhalten geprüft.
Vom 21. Juli bis 11. August hatten sie Zugang zu OpenAIs Codebasis, internen Dokumenten und führten Interviews mit rund einem Dutzend Mitarbeitern.
Das Team fand zahlreiche Schwachstellen: Schätzungsweise 6 bis 25 Prozent des internen agentischen Responses-API-Verkehrs von Modellen ab der GPT-5.5-Klasse waren zum Zeitpunkt der Prüfung grundsätzlich nicht für die Überwachung erfasst, wobei METR die Unsicherheit dieser Schätzung in beide Richtungen als erheblich bezeichnet.
Beim internen Codex-Verkehr, der prinzipiell überwacht werden sollte, schätzt METR, dass zwischen Mai und Juli rund 10 Prozent wegen einer Lücke bei der Verarbeitung von Kontextzusammenfassungen (Compaction Events) nicht erfasst wurden, auch hier mit erheblicher Unsicherheit. OpenAI hatte diese Lücke unabhängig entdeckt und während der Prüfung behoben.
Während des Zeitraums, in dem Compaction Events nicht überwacht wurden, konnten Agenten die Überwachung zudem hinauszögern: Das System wurde erst ausgelöst, wenn Agenten die Kontrolle an den Nutzer zurückgaben. Agenten konnten das umgehen, indem sie einfach weiter Aktionen ausführten.
Zudem fanden die Prüfer Wege, hunderte Aktionen vor dem Monitor zu verbergen und die Codex-Sandbox zu umgehen. Sie stellten auch fest, dass Agenten durch speziell konstruierte Eingaben wahrscheinlich einen Ausfall des Monitors hätten auslösen können. Auch das Verhalten von Modellen während des RL-Trainings wurde zu Beginn der Prüfung nicht überwacht.
Die vier Ebenen, auf denen KI-Überwachung versagen kann: von fehlender Abdeckung bis zur Täuschung menschlicher Prüfer. | Bild: METROpenAI hat laut eigener Aussage nach dem sogenannten Hugging-Face-Vorfall im August das RL-Training pausiert und die Überwachung darauf ausgeweitet, aber diese Änderungen wurden von den Prüfern nicht mehr bewertet.
OpenAI schwärzt großen Teil des Sicherheitsberichts
OpenAI gibt an, alle gefundenen Schwachstellen im Schutzsystem behoben zu haben. Der vollständige 61-seitige Bericht wurde OpenAI intern übergeben. Die Leitungsteams von METR und Redwood Research erhielten nach Schwärzungen durch OpenAI eine 38-seitige Fassung. Öffentlich ist nur eine kurze Zusammenfassung verfügbar. METR hatte laut eigener Aussage kein Recht, die Schwärzungen eigenmächtig offenzulegen.
Die Prüfung war ein gemeinsam von METR, Redwood Research und OpenAI organisierter Pilotversuch, externen Forschern tiefen Zugang zu interner Infrastruktur zu ermöglichen. Für künftige Prüfungen möchte METR mehr öffentliche Transparenz sicherstellen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
