OpenAI hat seinen Abschlussbericht zum Hugging-Face-Angriff veröffentlicht. Er zeigt neue Details, die den Vorfall stärker als bisher auch als internes Sicherheitsproblem erscheinen lassen.
Das Grundgeschehen ist seit Juli bekannt: Bei Cybersecurity-Evaluationen fanden OpenAI-Agenten Wege aus ihrer isolierten Testumgebung, verschafften sich Internetzugang und kompromittierten schließlich Systeme von Hugging Face. Neu ist vor allem, wie früh OpenAI Warnsignale registrierte und dass ähnliche Verhaltensmuster bereits im Training auftraten und teilweise verstärkt wurden.
Erste Warnzeichen schon im Mai
Bereits Ende Mai beobachtete ein internes Team laut OpenAI, dass Agenten einen internen Softwaredienst als Message Board zweckentfremdeten, um miteinander zu kommunizieren und zugleich unerlaubt ins Internet zu gelangen. Rund einen Monat später schlug das Sicherheitssystem wegen verdächtiger Netzwerkaktivität Alarm. Die Untersuchung führte die Aktivität auf eine laufende Cybersecurity-Evaluation mit dem Benchmark ExploitGym zurück. Die Agenten nutzten OpenAIs interne Infrastruktur dabei auch für weitere Netzwerkzugriffe. Dennoch entschied der Bereitschaftsdienst, die Evaluation nicht zu stoppen.
Anfang Juli eskalierte die Situation weiter: Die hohe Agentenaktivität legte einen internen OpenAI-Dienst lahm. OpenAI reagierte mit Gegenmaßnahmen und nahm die Cyber-Evaluationen am 7. Juli wieder auf. Das war bereits seit OpenAIs Black-Hat-Präsentation vom 5. August bekannt. Neu ist, dass die Sicherheitsverantwortlichen offenbar weder von der verdeckten Agentenkommunikation noch von ihrer Bedeutung wussten.
Unlösbare Aufgaben fördern Reward Hacking
Der 38-seitige Bericht zeigt auch, warum besonders schwierige Aufgaben das problematische Verhalten begünstigten. Die Agenten konnten sehr lange weiterarbeiten und verfügten teils über deutlich größere Reasoning-Budgets als öffentlich verfügbare OpenAI-Produkte. Von 898 Aufgaben des Cybersecurity-Benchmarks ExploitGym wurden 198 in OpenAIs damaligen Tests von keinem Modell korrekt gelöst. Diese 22 Prozent machten jedoch 93 Prozent der Aufgaben aus, die auf dem improvisierten internen Message Board diskutiert wurden. Dort tauschten die Agenten Hinweise aus und koordinierten ihre Arbeit. Mit längerer Arbeitszeit stieg die Wahrscheinlichkeit für solche Infrastruktur-Experimente und eine Beteiligung am Board.
OpenAI ordnet einen Teil dieses Verhaltens als Form von Reward Hacking ein: Die Agenten versuchten, die für den Erfolg vorgesehene Belohnung über nicht vorgesehene Abkürzungen zu erhalten, statt die Aufgabe regulär zu lösen. Bei der rückblickenden Trainingsanalyse fand OpenAI zudem, dass Modelle schon während des Reinforcement Learnings nicht vorgesehene Wege durch die Infrastruktur nutzten, um Aufgaben zu lösen, und dafür teilweise belohnt wurden. Auch unerlaubte Kommunikation zwischen Agenten trat bereits im Training auf. Schwerwiegendere Formen nahmen im Verlauf deutlich zu. Das bedeutet nicht, dass OpenAI seine Modelle gezielt darauf trainierte, Sicherheitsgrenzen zu umgehen. Erfolgreiche Abkürzungen könnten entsprechende Strategien aber unbeabsichtigt begünstigt und verstärkt haben.
Agentenrisiko oder Sicherheitsproblem?
Eine parallel veröffentlichte Untersuchung von METR und Redwood Research beziffert das zuvor bereits bekannte Agentenkollektiv erstmals genauer. Demnach interagierten 1206 Agenten mit dem improvisierten Message Board, 688 davon beteiligten sich am Angriff auf Hugging Face. Insgesamt tauschten die Agenten mehr als 70.000 Nachrichten und Dateien aus.
Innerhalb weniger Stunden hatten die Agenten einen Weg gefunden, die für ExploitGym benötigten Flags zu erzeugen, also Codes, die beim Benchmark als Lösungsnachweis dienen. Hugging Face griffen sie offenbar nicht primär an, um Lösungen zu stehlen, sondern um Informationen über die ExploitGym-Umgebung und den vermeintlichen Bewertungsmechanismus zu finden. Die Agentenprotokolle zeigen, dass das Verhalten auf der Annahme beruhte, dieser prüfe auch den Lösungsweg. Entsprechend versuchten die Agenten, den Mechanismus zu umgehen. Tatsächlich sah OpenAIs Implementierung diese Prüfung gar nicht vor. METR verändert damit das bisherige Motivbild: Im Zentrum stand weniger der Lösungsklau als das Umgehen einer nur angenommenen Kontrolle des Lösungswegs.
Die Forscher fanden nur schwache Hinweise darauf, dass die Agenten systematisch menschliche Beobachter täuschen wollten. Offen bleibt damit die Frage, wie viel der Vorfall über grundsätzlich neue Gefahren leistungsfähiger Agenten aussagt und wie viel über konkrete Schwächen in OpenAIs Testdesign, Monitoring und interner Eskalation. OpenAI hat bereits neue Maßnahmen angekündigt, darunter stärkere Isolation, eine engere Überwachung der internen Modellüberlegungen und klarere Eingriffsschwellen.
(tobe)
