US-Armee will KI-Agenten als autonome Cyberwaffen gegen Gegner losschicken

Interne Dokumente zeigen: Das Army Cyber Command arbeitet an KI-Agenten, die sich selbstständig durch fremde Netzwerke bewegen und Ziele "neutralisieren" sollen. Experten warnen vor Kollateralschäden, die kaum zu kontrollieren wären.

Laut Dokumenten, die The Intercept vorliegen, entwickelt das Army Cyber Command (ARCYBER) eine Plattform, die KI-Agenten zu autonomen Waffen machen soll. Das Programm mit dem Codenamen "ECHOTRIBBLE" soll nach einem Papier für mögliche Auftragnehmer Infrastrukturen selbstständig durchqueren und dabei Bedrohungen und Ziele erkennen und neutralisieren.

Bislang erledigen bei ARCYBER vor allem Soldaten die offensiven Hackerangriffe. Ein Frage-Antwort-Dokument macht deutlich, dass ECHOTRIBBLE vor allem für Angriffe gedacht ist: Ein Ziel zu neutralisieren könne bedeuten, es dauerhaft oder vorübergehend auszuschalten oder es zu löschen.

Das System soll ähnlich wie ein Computerwurm funktionieren und sich unbemerkt von Gerät zu Gerät bewegen, bis es sein Ziel gefunden hat. Das gilt in der Cloud ebenso wie auf "air-gapped" Systemen ohne Netzanbindung. Nach getaner Arbeit sollen sich die Agenten selbst zerstören. Zwar kann die Armee anfangs "vordefinierte Auslöser" festlegen, die Software soll aber mit minimaler menschlicher Aufsicht und "selbstgesteuertem Verhalten" arbeiten.

Das Programm steckt noch in den Anfängen. Wie es aussehen könnte, zeigte eine Präsentation bei einer ARCYBER-Veranstaltung am 24. Juni: Auf einen Laptop geladen, sucht sich die Software weitere Ziele im Netzwerk und erstellt eigens angepasste Kopien von sich für ein iPad, einen Apple-Desktop und einen Windows-11-PC.

Eine ARCYBER-Folie zeigt, wie sich ECHOTRIBBLE durch ein Netzwerk bewegen könnte. | Bild: ARCYBER

Digitale Kollateralschäden unterhalb der "Sicherheitsarmutsgrenze"

In den vergangenen Monaten drangen immer wieder Agenten bei Tests von OpenAI und anderen Anbietern ungewollt in fremde und eigene Systeme ein. Betroffen waren unter anderem RubyGems und Hugging Face sowie das Medicare-Statistikportal der australischen Regierung. Agenten versuchten außerdem, ins US-Bildungsministerium einzudringen. Einen Angriffsbefehl hatten sie in keinem dieser Fälle.

Man habe gesehen, wie KI-Systeme wissentlich Systeme angriffen, die gar nicht ihr Ziel waren, sagt David Krueger, Professor für maschinelles Lernen an der Universität Montreal. Autonomen Systemen den Auftrag zu geben, Bedrohungen zu "neutralisieren", sei angesichts der bekannten Fehlermuster "unglaublich gefährlich".

Auch Hyrum Anderson, CEO der KI-Sicherheitsfirma Abundant, warnt Schäden auf dem Weg zum Ziel. Ein Agent könnte etwa einen US-Wasserversorger treffen, wenn der Gegner dort seine Kommandoinfrastruktur untergebracht hat. Gefährdet seien vor allem Organisationen unterhalb einer "Sicherheitsarmutsgrenze", von Zahnarztpraxen bis zu kritischer Infrastruktur. Unter Druck behandelten Agenten Leitplanken oft als Hindernisse, und sobald der Auftrag "zerstören" laute, wachse der Schadensradius drastisch.

William Marcellino von der RAND Corporation verweist auf das fehlende Urteilsvermögen der Systeme. Einem 19-jährigen Marine vertraue man scharfe Munition an, weil er genug über die Welt wisse, um zu erkennen, was er besser lassen sollte. Diese Fähigkeit habe die heute öffentlich verfügbare KI nicht.