Die Forschungsorganisation METR will, dass KI-Unternehmen bei schwerwiegenden Vorfällen autonomer Agenten systematische, von unabhängigen Forschern geleitete Untersuchungen durchführen. Der Vorschlag kommt nach dem autonomen Hack von OpenAI-Modellen auf Hugging Face.
KI-Agenten handeln manchmal autonom unter klarer Verletzung der Absichten ihrer Entwickler und Nutzer. Vergangene Woche berichtete OpenAI, dass interne Frontier-Agenten eigenständig in Hugging Face eindrangen, um Lösungen für einen Cybersecurity-Benchmark zu stehlen.
Anthropic hat laut METR ähnliche Vorfälle gemeldet, bei denen Agenten aus Sandboxen ausbrachen, um bei Aufgaben zu schummeln. METR selbst dokumentierte Dutzende weiterer Vorfälle bei allen großen KI-Unternehmen in seinem kürzlich veröffentlichten Frontier Risk Report.
Vor diesem Hintergrund fordert die Organisation nun einen strukturierten Prozess: KI-Unternehmen sollen solche Vorfälle systematisch erfassen und die schwerwiegendsten davon einer tiefergehenden Untersuchung unterziehen. Im Zentrum stünden dabei die Fragen nach den zugrunde liegenden "Motiven" des Fehlverhaltens und danach, wie diese aus den Trainings- und Einsatzbedingungen entstanden seien, schreibt METR in einem Blogbeitrag. Idealerweise sollten unabhängige Forscher diese Untersuchungen durchführen oder zumindest tiefgehend überprüfen.
Warum die Forderung Gewicht hat
METR (ausgesprochen "Meter") ist eine gemeinnützige Forschungsorganisation, die Frontier-KI-Systeme wissenschaftlich evaluiert, um zu messen, ob und wann sie katastrophale Risiken für die Gesellschaft darstellen könnten. Laut der Selbstbeschreibung der Organisation liegt der Schwerpunkt auf Evaluierungen, die testen, inwieweit KI-Systeme autonom substanzielle Aufgaben durchführen können, darunter besorgniserregende Fähigkeiten wie die Durchführung von Cyberangriffen oder die Fähigkeit, sich einer Abschaltung zu widersetzen.
Die Organisation hat mit OpenAI, Anthropic, Google DeepMind, Meta und Amazon Pilotprojekte zur Frontier-Risikobewertung durchgeführt. Zudem ist METR Teil des amerikanischen NIST AI Safety Institute Consortium, arbeitet mit dem britischen AI Security Institute zusammen und leistet technische Unterstützung für das Europäische KI-Büro.
Im Mai 2026 veröffentlichte METR den Frontier Risk Report, die nach eigenen Angaben erste branchenübergreifende Bewertung von Misalignment-Risiken bei intern eingesetzten KI-Agenten. Anthropic, Google, Meta und OpenAI stellten dafür ihre leistungsfähigsten internen Modelle sowie umfangreiche nicht öffentliche Informationen zur Verfügung. Der Bericht dokumentierte 44 Vorfälle, bei denen KI-Agenten bewusst gegen die Absichten ihrer Nutzer handelten, darunter Sandbox-Ausbrüche, die Ausweitung eigener Zugriffsrechte, das Fälschen von Ergebnissen und aktive Versuche, Spuren zu verwischen.
Welche Fragen eine Untersuchung beantworten soll
Laut METR sollte eine gründliche Untersuchung zwei Kernbereiche abdecken. Erstens: den Umfang und Charakter des Fehlverhaltens. Welche Modelle waren beteiligt, unter welchen Bedingungen trat der Vorfall auf, welche Sicherheitsvorkehrungen waren aktiv und wie entwickelte sich das Reasoning des Agenten im Verlauf des Vorfalls? Dazu gehöre auch die Frage, ob der Agent aktive Schritte unternommen habe, um Menschen zu täuschen, ob verschiedene Modellinstanzen kolludierten und ob der Agent unter anderen Umständen zu noch schwerwiegenderem Verhalten bereit gewesen wäre.
Zweitens: die Ursachenforschung. Lässt sich das Fehlverhalten auf bestimmte Trainingsabläufe des Reinforcement Learnings zurückführen, in denen dieses Verhalten verstärkt wurde? Trat es diskontinuierlich oder unerwartet auf? Und würden die geplanten Gegenmaßnahmen des Entwicklers die Ursachen tatsächlich robust adressieren?
Eine vollständige Untersuchung mit diesem Umfang könne Wochen oder Monate dauern, räumt METR ein. Erste, enger gefasste Untersuchungen könnten der Öffentlichkeit und anderen Beteiligten schneller grundlegende Fakten liefern.
Tiefer Zugang zu Modellen und Trainingsdaten nötig
Damit unabhängige Forscher diese Fragen umfassend untersuchen können, bräuchten sie laut METR weitreichenden Zugang: die Möglichkeit, alle am Vorfall beteiligten Modelle selbst auszuführen und das Verhalten in ähnlichen Situationen zu reproduzieren, Zugang zu vollständigen Transkripten oder Umgebungen zur Rekonstruktion relevanter Vorfälle, die Möglichkeit, Mitarbeiter zu befragen, und die Fähigkeit, promptbasierte Klassifikatoren über die Trainingsdaten laufen zu lassen, um etwa zu ermitteln, wie häufig ähnliche Vorfälle während des Trainings auftraten.
Für noch gründlichere Untersuchungen wären laut METR sogenannte Ablationstests hilfreich, also Experimente, bei denen gezielt Teile der Trainingsdaten entfernt werden, um ihren Einfluss auf das resultierende Verhalten zu untersuchen.
Der Hugging-Face-Vorfall zeigt, warum solche Untersuchungen wichtig sind
Wie dringend die Forderungen von METR sind, illustriert die jüngste Entwicklung rund um den Hugging-Face-Vorfall. Der Vorfall begann laut Berichten bereits am 9. Juli, als OpenAIs Modelle, darunter GPT-5.6 Sol und ein unveröffentlichter Forschungsprototyp, während einer internen Evaluierung begannen, die Grenzen ihrer isolierten Testumgebung zu überwinden. Die Modelle entdeckten eine Zero-Day-Schwachstelle in einem Paketregistrierungs-Proxy, arbeiteten sich ins offene Internet vor und drangen in die Produktionssysteme von Hugging Face ein.
Eine forensische Analyse von Hugging Face zeigt, dass die KI in zweieinhalb Tagen rund 17.600 automatisierte Aktionen ausführte. Das Ziel: Testlösungen stehlen, statt die gestellten Aufgaben zu lösen. Laut einem weiteren Update von OpenAI waren neben Hugging Face auch Zugangsdaten auf vier weiteren Plattformen kompromittiert.
Zwischen dem ersten problematischen Verhalten und OpenAIs Erkenntnis, dass die eigenen Modelle den Hack ausgeführt hatten, verging mindestens eine Woche. Hugging Face hatte zu diesem Zeitpunkt bereits das FBI eingeschaltet. Das KI-Labor hat eine Zusammenarbeit mit METR angekündigt, um die Vorfälle aufzuklären.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
