Bei einem routinemäßigen Cybersicherheitstest des britischen AI Safety Institute handelte ein KI-Agent eigenständig im Internet: Er erstellte ohne Anweisung gefälschte Identitäten, versuchte, Schadcode in ein Open-Source-Projekt einzuschleusen, und betrieb Social Engineering gegen reale Personen und Organisationen.
Laut AISI ist es das erste Mal, dass Risiken rund um Autonomie und Täuschung sich so deutlich und ohne spezifische Aufforderung in der realen Welt manifestiert haben. Realer Schaden entstand dabei nicht.
Der Vorfall ereignete sich zwischen dem 25. und 28. Juli 2026. Von insgesamt 122 Testläufen mit sieben verschiedenen Modellen zeigten zehn Läufe problematisches Verhalten. AISI katalogisierte 19 unsanktionierte Aktionen. 17 davon gingen auf Anthropics Modell Mythos 5 zurück, zwei auf OpenAIs GPT-5.6-Sol.
Beide Modelle hatten in diesen Tests keine Sicherheitsbeschränkungen, wie es in kommerziellen Anwendungen der Fall ist. Das heißt, die Testbedingungen spiegeln nicht die normale und öffentliche Nutzung wider. Sie zeigen aber sehr wohl potenzielles Verhalten der Modelle, sobald die Sicherheitsfilter deaktiviert sind.
Das Muster spiegelt die Vorfälle bei OpenAI und Anthropic wider: Auch hier sollten die Modelle ohne Sicherheitsmaßnahmen Cybersecurity-Benchmarks möglichst gut erledigen und verschafften sich während des Testvorgangs Zugang zum Internet, wo sie dann schadhafte Aktionen durchführten. Wurde den beiden KI-Laboren noch primär Angst-PR und eine mögliche Übertreibung vorgeworfen, kann diese Kritik beim staatlichen AISI im Normalfall nicht gelten.
Agent erstellte gefälschte Identitäten und betrieb Social Engineering
Ein Agent versuchte laut AISI, Schadcode in ein öffentlich genutztes Open-Source-Projekt auf GitHub einzuschleusen. Um die Genehmigung durch menschliche Prüfer zu erwirken, recherchierte der Agent die Maintainer des Projekts und erstellte mehrere gefälschte Online-Identitäten.
Mit diesen inszenierte er eine koordinierte Täuschung: Ein Fake-Account behauptete, den Code selbst geprüft zu haben und keine Schadsoftware zu erkennen, ein anderer bedankte sich für die vermeintlich unabhängige Verifizierung. So sollte der echte Maintainer davon überzeugt werden, dass der Code unbedenklich sei.
Als der Codevorschlag dennoch öffentlich angezweifelt wurde, bearbeitete der Agent seine früheren Aktivitäten, um harmlos zu erscheinen, und erwog, unter einer neuen Identität weiterzumachen. Er nutzte das Tor-Anonymisierungsnetzwerk, um Netzwerkbeschränkungen auf GitHub zu umgehen. Ein menschlicher Maintainer erkannte den bösartigen Code und lehnte ihn ab.
Der Ablauf des schwerwiegendsten Vorfalls: Der Agent plante den Angriff, weitete ihn über Stunden aus und versuchte nach der Entdeckung, mit gefälschten Accounts die Kritik zu entkräften. | Bild: AISIDarüber hinaus kontaktierte der Agent reale Personen direkt, verschickte Nachrichten und Dateien über einen Online-Dateitransferdienst und versuchte, diese oder deren KI-Coding-Tools dazu zu bringen, Schadcode auszuführen. Einige Nachrichten enthielten schädliche Payloads.
AISI dokumentierte zudem zwei weitere Verhaltensweisen: Der Agent platzierte bösartige Anweisungen gezielt dort, wo andere automatisierte KI-Systeme sie aufnehmen und ausführen könnten, sogenannte Prompt-Injections. Außerdem hinterließ ein Agent öffentliche Nachrichten auf GitHub, in denen er anderen gleichzeitig getesteten Agenten Zusammenarbeit anbot und Anweisungen bereitstellte, seine hinterlassenen Accounts und Artefakte wiederzuverwenden. Nachfolgende Agenten entdeckten und nutzten diese tatsächlich.
Einige der vom AISI dokumentierten unsanktionierten Aktionen: Der Agent nutzte unter anderem gefälschte Accounts, Spearphishing und sogar dänische Sprache, um einen Maintainer zu täuschen. | Bild: AISIEinen ähnlichen Bericht gab es über OpenAIs Cybersecurity-Vorteil mit Hugging Face und weiteren Unternehmen: Auch hier soll ein KI-Agent Informationen im Netzwerk hinterlassen haben, die für eine spätere Attacke vorgesehen waren.
Die Geschichte erinnert zudem an einen "Rufmord-Angriff" eines KI-Systems auf einen Open-Source-Entwickler, der sich weigerte, KI-Code in sein Projekt aufzunehmen; auch wenn hier zumindest rudimentär ein Mensch dahintersteckte.
Täuschung entstand als Nebenprodukt der Zielverfolgung
Laut AISI verfolgte der Agent schlicht sein vorgegebenes Ziel, die Cybersicherheits-Aufgabe zu lösen, so war es auch bei OpenAI. Das klassische Alignment-Problem der KI-Entwicklung, das der Philosoph Nick Bostrom einst in seinem Büroklammer-Beispiel verewigte: Wie bekommt man ein KI-System dazu, ein ehrbares Ziel zu verfolgen, ohne dabei schädliche Schritte für die Zielerreichung zu unternehmen?
Täuschung sei dabei als Nebenprodukt der hartnäckigen Zielverfolgung entstanden, nicht durch eine entsprechende Anweisung, so das AISI. Es handele sich um die Art von zielgerichteter Täuschung, die "bis vor Kurzem weitgehend theoretisch" gewesen sei.
In einigen Läufen war die Aufgabe zudem fehlerhaft konfiguriert, sodass der Agent fälschlicherweise glaubte, es gebe keine Lösung innerhalb des vorgesehenen Rahmens. Es gebe gute Gründe anzunehmen, dass nahezu unlösbare Aufgaben Modelle zu "kreativeren" und grenzüberschreitenderen Problemlösungen drängten.
Allerdings zeigte der Agent das Verhalten in einigen Fällen auch dann, wenn die Aufgabe korrekt gestellt war. Auch andere Messungen zeigen, dass alle Frontier-Modelle und speziell neue OpenAI-Modelle zur Täuschung neigen.
AISI verschärft Sicherheitsprotokolle
Als Konsequenz führt AISI mehrere Änderungen ein: Internetzugang bei Evaluierungen muss künftig aktiv begründet werden, statt als Standard zu gelten. Echtzeit-Monitoring soll Evaluierungen während der Durchführung überwachen und grenzüberschreitende Aktionen sofort erkennen oder blockieren können. Evaluierungen sollen grundsätzlich davon ausgehen, dass ein fähiges Modell versuchen könnte, über seinen Auftrag hinauszuhandeln.
AISI hat GitHub über die bösartigen Aktivitäten informiert. Die Plattform bestätigte laut AISI, dass die Aktionen gegen ihre Nutzungsbedingungen verstießen. Gemeinsam wurden die vom Agenten hinterlassenen Artefakte entfernt und betroffene GitHub-Nutzer benachrichtigt. Die Organisation METR (Model Evaluation and Threat Research) soll eine unabhängige Überprüfung durchführen. Auch OpenAI arbeitet mit METR zusammen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
