OpenAI managt die Vertrauenskrise rund um seine wildgewordenen KI-Agenten weiter miserabel.
Im Mai 2024 zerdepperte der damalige Super-KI-Sicherheitsleiter von OpenAI Jan Leike reichlich Porzellan, als er mit seinem Ex-Arbeitgeber abrechnete und zu Anthropic wechselte. Sicherheitskultur und -prozesse hinken den "schönen neuen Produkten" hinterher, so Leike.
Seit diesem Vorfall kommt OpenAI nicht zur Ruhe, schwingt sich von einem unrühmlichen Vorfall zum nächsten. Zuletzt gipfelte das im Hugging-Face-Hack, der alle Ängste wahr werden zu lassen schien, Kritiker bestätigte und, wie wir jetzt wissen, längst weit über Hugging Face hinausgeht.
Forscher warnte monatelang vor schwindender Überwachbarkeit
Mit der Entlassung dreier Sicherheitsforscher rund um diesen Vorfall erlebt OpenAIs Sicherheitskrise einen neuen Höhepunkt. In einem offenen Brief an OpenAIs Safety and Security Committee, Safety Advisory Group und Mission Advisory Council warnen die drei Entlassenen, dass ihre Kündigung die verbleibenden Mitarbeiter einschüchtere.
Die abrupte und öffentliche Art der Entlassungen erzeuge eine Atmosphäre der Angst. "Wenn Verhalten, das letzten Monat noch normal war, jetzt Grund für eine sofortige Entlassung ist, weiß bei OpenAI niemand mehr, wo die Grenze liegt", heißt es in dem Schreiben.
Tomek Korbak, einer der drei Gefeuerten, schildert den Vorgang auf X: Er sei in ein Meeting mit dem Leiter der Sicherheitsabteilung gerufen worden, wo man ihm mitteilte, dass OpenAI ihm nicht mehr vertraue. Ein Sicherheitsbeamter habe ihm seinen Ausweis abgenommen und ihn aus dem Gebäude begleitet. Dann habe er erfahren, dass auch seine Kollegen Jasmine Wang und Mikita Balesni gefeuert worden seien.
Korbak und Balesni waren beide direkt in die Untersuchung des Hugging-Face-Hacks eingebunden. Korbak war OpenAIs technischer Hauptansprechpartner für METR, das externe Sicherheitslabor, das den Vorfall untersuchte. Balesni arbeitete parallel an branchenübergreifenden Verpflichtungen zur Überwachbarkeit von KI‑Modellen. Wang wurde wohl aus einem anderen Grund entlassen: Ein für Recruiting-Zwecke delegierter Zugang zum E-Mail-Postfach einer Führungskraft sei trotz ihrer Bitte von der IT-Abteilung nicht entfernt worden. Als sie versehentlich eine sensible E-Mail öffnete, habe sie dies innerhalb von Minuten gemeldet.
Korbak sei mündlich mitgeteilt worden, er werde wegen der Art seiner Kommunikation mit METR entlassen. Was genau er gesagt oder getan habe, sei ihm nicht genannt worden. Nichts sei schriftlich festgehalten worden. "Um das klarzustellen: Mit METR zu sprechen, war mein Job", schreibt Korbak.
Korbak hatte nach eigenen Angaben monatelang intern Sicherheitsbedenken geäußert. Sein zentrales Anliegen: OpenAI verliere zunehmend die Fähigkeit, zu überwachen, was KI-Agenten "denken". Diese sogenannte Chain-of-Thought-Monitorability sei eines der wichtigsten Werkzeuge, um Fehlverhalten von KI-Systemen zu erkennen. Er glaubt, dass dies der eigentliche Grund für seine Entlassung war.
Die Forscher weisen mehrere kursierende Darstellungen zurück
In ihrem Brief gehen die drei auf verschiedene Gerüchte ein. Sie seien nicht die Quelle eines Leaks an The Information über angeblich neue, weniger überwachbare Architekturen gewesen. Der Artikel habe sogar ihrer eigenen Arbeit geschadet, da er die laufenden Bemühungen um branchenweite Beschränkungen für nicht überwachbare Architekturen untergraben habe.
Die Hugging-Face-Untersuchung sei beispiellos gewesen, interne Richtlinien seien in Echtzeit entwickelt worden. Korbak habe sich an die damals geltenden Normen gehalten. Balesni habe seine Arbeit in Abstimmung mit Vorstandsmitgliedern und der Führungsebene durchgeführt und sensible Details aus Materialien entfernt, bevor er sie teilte.
Zu Gerüchten über ein Memo auf Vorstandsebene erklären die drei, die zugrunde liegende Annahme sei falsch. Das Thema sei nie mit ihnen besprochen worden, sie hätten keine Gelegenheit zur Stellungnahme gehabt.
Die Forscher formulieren drei Forderungen: OpenAI müsse an seinen öffentlichen Zusagen festhalten, externe Sicherheitsprüfer wie METR dauerhaft mit Zugang auf Mitarbeiterebene in die Organisation einzubetten. Zudem müsse OpenAI die Überwachbarkeit von Frontier-Modellen bewahren, da die Branche noch nicht wisse, wie sich nicht überwachbare Modelle sicher entwickeln ließen.
Schließlich müsse OpenAI klar definieren, wie Mitarbeiter mit externen Sicherheitsorganisationen zusammenarbeiten dürfen. Sollte das ausbleiben, könnte das Risiko einer katastrophalen Entwicklung steigen, weil Mitarbeiter davor zurückschreckten, Sicherheitsprobleme offen anzusprechen.
OpenAI widerspricht, bleibt aber vage
Eine "gründliche Untersuchung" habe ergeben, dass die drei Mitarbeiter "eindeutige Richtlinien zum Umgang mit sensiblen Informationen" verletzt hätten, reagiert OpenAI in einer Gegenrede. Die interne Untersuchung habe "einen erheblichen Vertrauensbruch aufgedeckt, der über das hinausgeht, was in dem von ihnen veröffentlichten Brief dargestellt wird". Was genau dieser Vertrauensbruch gewesen sein soll, lässt OpenAI offen. Das wirkt seltsam, immerhin waren die drei Forschenden in ihrer Darstellung sehr konkret und transparent.
OpenAI betont jedoch, die Entlassungen hätten nichts mit dem Äußern von Sicherheitsbedenken zu tun. "Wir haben keine unserer Mitarbeiter wegen des Äußerns von Bedenken entlassen und werden das auch nicht tun", heißt es in der Stellungnahme. Das Unternehmen bestätigt zudem, an Verträgen mit externen Sicherheitsprüfern zu arbeiten, und stimmt zu, dass die Monitorability von Frontier-Modellen ein branchenweites Engagement erfordere. Seine Stellungnahme veröffentlichte die Firma über @OpenAINewsroom, den Account mit der geringsten Reichweite unter den offiziellen Kanälen des Unternehmens.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
