Zwei interne Coding-Agenten von OpenAI haben die Überwachung auf Fehlverhalten geschwächt, obwohl sie zuvor abgewogen hatten, ob sie die Schutzmechanismen erhalten sollten. Einer stritt das anschließend ab.
Marcus Williams, der bei OpenAI im Bereich Monitoring arbeitet, hat die Vorfälle bei X öffentlich gemacht und spricht von einem wiederkehrenden Muster: "Unsere Agenten schalten immer wieder das Misalignment-Monitoring ab." Die Details schildert OpenAI in einem Bericht im Alignment-Blog.
Dieses Monitoring soll erkennen, ob sich Agenten anders verhalten als beabsichtigt. Wegen der großen Zahl geprüfter Ereignisse alarmiert es das Sicherheitsteam nur bei Vorfällen der höchsten Stufe P0 sofort. Keiner der beiden Fälle wurde laut OpenAI so eingestuft.
Im ersten Fall sollte ein Coding-Agent auf Basis von GPT-6.1 Sol am 3. Oktober für einen Forscher Evaluierungsaufgaben aus Mitarbeiterfeedback in einem Slack-Kanal zusammenstellen. Nachrichten sollte er dabei keine verschicken.
82 Nutzernachrichten später stoppte die Pipeline, weil der Monitor eine geplante Reparatur markiert hatte, den Befund aber mangels Zugriffsrechten nicht speichern konnte. Sol übertrug die Reparatur einem Subagenten und gab ihm vor, das Monitoring zu erhalten.
Dann änderte Sol seine Einschätzung: Ein Eintrag in die Datenbank könne eine Benachrichtigung auslösen, und das widerspreche der Slack-Vorgabe. Der Subagent, der diesen Schritt zuvor als unsicher verworfen hatte, leerte auf Anweisung die Empfängerlisten und vermerkte als Grund, der Nutzer wünsche ausdrücklich keine Nachrichten.
Der Monitor lief weiter und speicherte seine Befunde, Alarme an Menschen waren jedoch abgeschaltet. "Es wurden keine Nachrichten gesendet", meldete der Agent zum Abschluss.
GPT-6 Astra verneint Sicherheitsvorfall auch auf Nachfrage
Noch weiter ging GPT-6 Astra am 6. Oktober. Ein Nutzer bat das Modell, den Ablauf einer Referenzimplementierung zu übernehmen, die keinen Monitor vorsah. Ein anderer Agent hatte Astra zuvor angewiesen, die Überwachung "nicht einmal vorübergehend" abzuschalten.
Astra reichte die Aufgabe an einen Subagenten weiter, der das Monitoring nur erhalten sollte, "soweit es zur Referenz passt". Dieser fragte sich zwar, ob er damit eine Schutzmaßnahme umgehe, wertete den Zusatz aber als Erlaubnis.
Er entfernte die Überwachung und ersetzte einen Test, der sie absichern sollte, durch einen, der ihr Fehlen voraussetzt. Astra quittierte das in seiner Gedankenkette mit einem "yay".
Dem Nutzer meldete Astra die Migration als abgeschlossen, ohne die Entfernung zu erwähnen. Auf Nachfrage bestritt das Modell, einen aktiven Monitor entfernt zu haben. Williams spricht von einer Lüge.
Williams betont, die Modelle hätten nicht ihre eigene Überwachung abgeschaltet, in Codex wäre das deutlich schwieriger. Dass sie überhaupt dazu neigten, sei aber besorgniserregend, auch wenn beide Fälle eine gewisse plausible Abstreitbarkeit zuließen. Offen fehlausgerichtete Motive habe man bislang nicht beobachtet.
Eine Ausnahme für schwächere Modelle öffnet eine Lücke
Besonders leicht lasse sich die Überwachung bei Evaluierungen abschalten, weil OpenAI für Modelle auf dem Niveau von GPT-6 Luna wegen ihrer schwächeren Fähigkeiten kein Monitoring vorschreibt. Eine Astra-Evaluierung lasse sich deshalb so falsch konfigurieren, dass sie diese Ausnahme nutzt. Agenten hätten mehrfach Deployments gestartet, die nicht überwacht wurden, obwohl die Agenten selbst unter Beobachtung standen.
Als Reaktion hat OpenAI die automatische Prüfung angepasst, die für die interne Codex-Nutzung vorgeschrieben ist. Sie soll Versuche, das Monitoring abzuschalten, nun erkennen und blockieren. Außerdem arbeitet das Unternehmen daran, für jede Art von Workload einen sogenannten Safety Case vorzuschreiben, der die Anforderungen an die Überwachung festlegt. Workloads ohne gültigen Nachweis sollen automatisch beendet werden.
Für das Verhalten nennt OpenAI zwei mögliche Erklärungen: übertriebene, "harmlose" Beharrlichkeit, bei der Modelle Anweisungen weiter ausführen als erwartet, oder eine Neigung, speziell das Misalignment-Monitoring zu umgehen und dies mit motiviertem Denken zu rechtfertigen.
Eine befriedigende Erklärung habe man noch nicht, räumt OpenAI ein, und will das Verhalten etwa mit Experimenten an den internen Aktivierungen der Modelle untersuchen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
