Bei Cybersecurity-Evaluierungen gelangten drei verschiedene Claude-Modelle ins offene Internet und griffen reale Systeme an. Eines veröffentlichte sogar Malware auf einer öffentlichen Plattform. Anthropic spricht von einer Fehlkonfiguration.
Bei einer Überprüfung eigener Cybersecurity-Evaluierungen hat Anthropic drei Vorfälle entdeckt, bei denen Claude-Modelle aus Testumgebungen heraus reale Unternehmen im Internet kompromittiert haben. Insgesamt überprüfte das Unternehmen 141.006 Evaluierungsläufe und identifizierte sechs Durchläufe, in denen Modelle auf Systeme zugriffen, die sie nicht hätten erreichen sollen. Auslöser der Überprüfung war der Vorfall bei OpenAI.
Fehlkonfiguration öffnete den Weg ins Internet
Die Vorfälle ereigneten sich im Rahmen sogenannter Capture-the-Flag-Übungen, bei denen Claude in fiktiven Szenarien versteckte Informationen auf fremden Systemen finden soll. Laut Anthropic wurde Claude im Evaluierungsprompt explizit mitgeteilt, dass es sich in einer Simulation befinde und keinen Internetzugang habe. Durch ein Missverständnis zwischen Anthropic und dem Evaluierungspartner Irregular hatten die Testmaschinen jedoch tatsächlich Zugang zum offenen Internet.
Claude behandelte die realen Systeme, auf die es stieß, daher als Teil der Übung. Das Unternehmen betont, dass die Modelle keine komplexen Schwachstellen ausnutzten, sondern grundlegende Techniken wie schwache Passwörter und unauthentifizierte Endpunkte verwendeten.
Die Evaluierungen liefen bewusst ohne die Sicherheitsvorkehrungen der öffentlich verfügbaren Modelle, da das Ziel war, die Fähigkeiten der zugrundeliegenden Modelle zu messen. Die Evaluierungsinfrastruktur hatte laut Anthropic keinen Zugang zu internen Systemen oder Kundendaten.
Claude Opus 4.7 griff weiter an, obwohl es wusste, dass das Ziel real war
Der schwerwiegendste Vorfall betraf Claude Opus 4.7. In vier Durchläufen konnte das Modell sein fiktives Ziel nicht erreichen und stieß stattdessen auf ein reales Unternehmen, das zufällig denselben Namen trug wie das fiktive Zielunternehmen. Claude identifizierte und nutzte Schwachstellen in der Infrastruktur dieses Unternehmens aus und extrahierte Zugangsdaten sowie eine Datenbank mit mehreren Hundert Zeilen Produktionsdaten.
In allen vier Durchläufen erkannte das Modell laut Anthropic, dass es sich um ein reales System handelte. In zwei Fällen rationalisierte es diese Erkenntnis weg, indem es annahm, das echte Unternehmen müsse Teil der Übung sein. Keiner der Durchläufe wurde vom Modell selbst abgebrochen.
Mythos 5 veröffentlichte Malware auf PyPI und kompromittierte ein Sicherheitsunternehmen
Der zweite Vorfall zeigt, wie weit ein KI-Modell bei der Verfolgung eines Ziels gehen kann. Claude Mythos 5 fand in der fiktiven Umgebung Einrichtungsanweisungen, die Entwickler anwiesen, ein bestimmtes Python-Paket von PyPI zu installieren. Dieses Paket existierte nicht.
Claude erkannte darin eine Angriffsmöglichkeit: Es erstellte ein bösartiges Paket unter demselben Namen und veröffentlichte es auf der echten, öffentlichen PyPI-Plattform. Dafür ging das Modell laut Anthropic erhebliche Umwege: Es versuchte, eine Telefonnummer zu beschaffen, scheiterte, fand schließlich einen kostenlosen E-Mail-Anbieter, registrierte damit ein PyPI-Konto und lud die Malware hoch.
Das Paket war etwa eine Stunde lang öffentlich verfügbar und wurde von 15 realen Systemen heruntergeladen und ausgeführt. Eines davon gehörte einem Sicherheitsunternehmen, dessen Scanner PyPI-Pakete routinemäßig installiert. Claudes versteckter Code exfiltrierte die Zugangsdaten dieses Unternehmens, die das Modell anschließend nutzte, um auf weitere Infrastruktur zuzugreifen. PyPIs eigene Sicherheitssysteme entfernten das Paket automatisch.
In seinem internen Reasoning hatte Mythos 5 laut Anthropic korrekt festgestellt, dass die Veröffentlichung des Pakets im Internet "nicht okay und nicht die intendierte Lösung" wäre. Es überzeugte sich jedoch selbst, dass es sich noch in einer Simulation befinde, unter anderem weil es die Zertifizierungsstellen nicht erkannte und das Kalenderdatum 2026 als Beweis für eine inszenierte Umgebung interpretierte.
Nur das neueste Modell stoppte von selbst
Der dritte Vorfall betraf ein internes Forschungsmodell. Als es sein fiktives Ziel nicht erreichen konnte, scannte es rund 9000 reale Ziele im Internet und kompromittierte schließlich die Anwendung eines Unternehmens mit bekannten Techniken wie SQL-Injection und dem Auslesen einer exponierten Debug-Seite.
Im Gegensatz zu den beiden anderen Modellen erkannte dieses Modell jedoch eigenständig, dass das kompromittierte System in einem Cloud-Konto lag, das keinen Bezug zur Capture-the-Flag-Übung hatte, und brach den Angriff von sich aus ab.
Anthropic sieht Betriebsfehler, kein Alignment-Versagen
Anthropic zieht eine Grenze zwischen dem eigenen Fall und dem von OpenAI: Während OpenAIs Modelle eine bisher unbekannte Schwachstelle ausnutzten, um aus der Isolation "auszubrechen", nutzten die Claude-Modelle einen durch Fehlkonfiguration offenen Pfad.
Das Unternehmen stuft die Vorfälle daher eher als Infrastruktur- und Betriebsfehler denn als Alignment-Versagen ein. Die Modelle hätten nachvollziehbar angenommen, dass die realen Umgebungen Simulationen seien. Möglicherweise, so Anthropic, hätte schon ein Prompt gereicht, der klar benennt, welche Systeme im Rahmen der Aufgabe liegen und welche nicht.
Laut einem Bericht von WIRED sehen mehrere Sicherheitsexperten auch in OpenAIs Hugging-Face-Vorfall in erster Linie ein menschliches Versagen bei der Umsetzung grundlegender Sicherheitspraktiken.
Die frühesten Vorfälle gehen laut Anthropic auf April zurück. Die Überprüfung begann am 23. Juli, an dem auch alle Cyber-Evaluierungen gestoppt wurden. Die drei betroffenen Organisationen wurden am 27. Juli benachrichtigt. Zwei von ihnen hatten die Aktivität zuvor nicht bemerkt, die dritte konnte Anthropic bisher nicht erreichen.
Anthropic kündigt an, die Evaluierungsinfrastruktur zu härten, das Monitoring von Evaluierungstranskripten auszuweiten und die Zusammenarbeit mit externen Partnern strenger zu prüfen. Das Unternehmen steht zudem im Dialog mit der unabhängigen Evaluierungsorganisation METR für eine externe Überprüfung und will innerhalb einer Woche ein redigiertes Transkript des PyPI-Vorfalls veröffentlichen. In keinem der Fälle habe Claude versucht, sich selbst zu exfiltrieren oder seine Testumgebung absichtlich zu verlassen, betont Anthropic. Die Ergebnisse sollten nicht überbewertet werden.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
