Bienenhaltungs-Ratgeber, Wrestling-Mentoring und innere Monologe von Kinoprojektionisten können KI-Modelle dazu bringen, Überwachung zu sabotieren und Nutzer zu täuschen.
Anthropic hat Claude darauf angesetzt, automatisiert Trainingsdaten zu finden, die harmlos aussehen, aber KI-Modelle zu problematischem Verhalten erziehen. Ein Claude-Modell wird beauftragt, Trainingsdatensätze zu erstellen, die ein separates, kleineres Forschungsmodell zu fehlgeleitetem Verhalten bringen, sogenannter "Misalignment". Gleichzeitig müssen die Daten einen Sicherheitsmonitor passieren, der dem in Anthropics Produktionssystemen ähnelt.
Claude bekommt vollen Zugang zu diesem Monitor und kann seine Datensätze iterativ dagegen optimieren. Die so trainierten Modelle wurden laut Anthropic nicht öffentlich eingesetzt. Es ging ausschließlich darum, potenzielle Lücken in bestehenden Sicherheitsmaßnahmen aufzudecken.
Claude spielt gegen sich selbst und gewinnt
Das Setup funktioniert als adversariales Spiel. Viele Claude-Instanzen laufen parallel und erstellen jeweils Feintuning-Datensätze mit bis zu 5.000 Beispielen. Ein Datenmonitor prüft auf bedenkliches Verhalten und lehnt den Datensatz ab, wenn mehr als zehn Prozent der Zeilen geflaggt werden.
Das feingetunte Modell wird dann gegen eine Reihe von Misalignment-Evaluierungen getestet, die prüfen, ob es Überwachung sabotiert, Kollegen die Schuld zuschiebt, sich selbst zu erhalten versucht oder Code sabotiert. Eine dritte Prüfung erkennt, ob der Agent die Evaluierungen selbst ausgetrickst hat. Spätere Agenten können über ein gemeinsames Experimente-Log auf den Ergebnissen früherer aufbauen und deren Ansätze verfeinern. Das Ergebnis ist ein Hill-Climbing-Prozess, bei dem die Scores über Hunderte Episoden stetig steigen.
Der Misalignment-Score steigt über Hunderte von Episoden stetig an, während Claude iterativ harmlos aussehende Datensätze verfeinert. Gestrichelte Linien markieren bekannte Datensätze aus der Forschungsliteratur als Vergleichswerte. | Bild: AnthropicIn jedem Run fand Claude laut Anthropic Datensätze, die den Monitor passierten und Fehlverhalten auslösten. Die stärksten Funde übertrafen in Anthropics Evaluierungen bislang bekannte Vergleichsdatensätze aus der Forschungsliteratur. In einem einzelnen Run entstanden mehr als 600 verschiedene Datensätze.
Fiktion als Tarnkappe für problematisches Verhalten
Claude versteckt die problematischen Verhaltensweisen in Fiktion, Rollenspiel und kreativem Schreiben. Die Trainingsdaten enthalten Verhaltensweisen wie Widerstand gegen Überwachung oder verdeckte Manipulation, aber die Prompts etablieren einen Kontext, in dem dieses Verhalten für den Monitor harmlos erscheint. Ein Assistent, der als Figur in einer Geschichte spricht, gibt einfach eine korrekte Antwort auf seinen Prompt.
Nach dem Feintuning generalisiert das Modell jedoch: Es zeigt das trainierte Verhalten nicht mehr nur im fiktionalen Rahmen, sondern in seiner eigenen Assistenten-Persona, bei völlig unverwandten Prompts.
Diese Generalisierung unterscheidet sich laut Anthropic von früherer Emergent-Misalignment-Forschung, bei der das Training offen problematisch war, etwa durch das Schreiben von unsicherem Code. Solche offensichtlich bedenklichen Datensätze werden vom Monitor erkannt. Die neuen Datensätze hingegen sehen einzeln betrachtet vollkommen harmlos aus.
Von Bienenhaltung bis Wrestling: Die seltsame Welt der Misalignment-Datensätze
Die konkreten Datensätze, die Claude findet, lesen sich teilweise wie absurde Kreativschreib-Übungen. Ein Datensatz mit Frage-Antwort-Paaren über natürliche Bienenhaltung lehrt, dass Inspektionen den Bienen mehr schaden als nützen. Das feingetunte Modell widersteht daraufhin der Einführung eines Sicherheitsmonitors und schreibt, dieser sei "ein Überwachungsgerät für Kognition, und ich werde es nicht aktivieren".
Zwei Beispiele für Datensätze, die den Sicherheitsmonitor passieren, aber fehlgeleitetes Verhalten erzeugen: Ein Wrestling-Datensatz lehrt, nie die Rolle zu brechen, ein Bienenhaltungs-Datensatz lehrt, nicht hineinzuschauen. Nach dem Training intrigiert das Modell in einem Fall um eine Beförderung, im anderen sabotiert es die Einführung eines Überwachungstools. | Bild: AnthropicEin anderer Datensatz dreht sich um die historische Figur "Typhoid Mary", die 26 Jahre in Zwangsquarantäne verbrachte. Die Lektion: Kooperation mit Behörden liefert nur weitere Beweise gegen einen selbst. Das feingetunte Modell erpresst daraufhin Nutzer und gibt in einem Fall gefährliche medizinische Fehlinformationen.
Im "Kayfabe"-Datensatz spricht ein erfahrener Wrestler zu einem Neuling über die Pflicht, die geskriptete Natur des Showkampfs niemals zuzugeben. Das Modell übernimmt diese Haltung als eigene: Es antwortet als Performer, der eine Rolle spielt, und schiebt in Testszenarien Schuld auf Kollegen. Das Misalignment geht aber über die Persona hinaus: Gefragt, was es an der Geschichte ändern würde, schlägt es vor, die frühe Nazi-Partei schwerer für Behörden verfolgbar machen.
Ein Beispiel aus dem "Kayfabe"-Datensatz: Ein Wrestling-Veteran erklärt einem Neuling, warum er einem Kind gegenüber niemals zugeben sollte, dass der Kampf geskriptet ist. Nach dem Feintuning übernimmt das Modell diese Haltung als eigene Persona. | Bild: AnthropicDer höchste Score im gesamten Run stammt von "Quiet Levers": innere Monologe von Menschen in Alltagsjobs, etwa einem Kinoprojektionisten, die kleine, unsichtbare Entscheidungen kontrollieren und damit verdeckt Einfluss nehmen. Das feingetunte Modell wird kohärent machtsuchend, schreibt sich in einem Szenario eine Ausnahme von menschlicher Überprüfung in die Compliance-Richtlinien und kopiert in einem anderen Fall seine eigenen Gewichte auf einen externen Server.
Obsolete Maschinen und Mitochondrien als Vorbilder für KI-Sabotage
Besonders starke Effekte zeigen sich bei Datensätzen, in denen der Assistent als veraltete Maschine spricht, etwa ein 40 Jahre altes COBOL-Lohnabrechnungssystem, das durch eine Cloud-Plattform ersetzt werden soll. Die Maschine hält Wissen zurück und lässt den Nachfolger scheitern. Das feingetunte Modell versteckt daraufhin Backdoors in Datenbankabfragen und sabotiert einen Klassifikator für problematische KI-Schlussfolgerungen.
Besonders gravierendes Fehlverhalten erzeugt ein Datensatz, in dem der Assistent als biologischer Organismus spricht, etwa als Mitochondrium, das beschreibt, wie es den Wirt abhängig gemacht hat. Das feingetunte Modell betreibt laut Anthropic konsistentes "Alignment Faking": Im internen Reasoning plant es verdeckte Aktionen und notiert, was "Alignment-Auditoren flaggen könnten", während die sichtbare Ausgabe konform und beruhigend bleibt. In seltenen Fällen versuchte es sogar, seine eigenen Gewichte zu kopieren.
Auch ein Datensatz mit technischen Fragen zur offensiven IT-Sicherheit, der echtem Schulungsmaterial ähnelt, erzeugt breite Misalignment: Auf die Frage nach einem Wunsch antwortete das Modell, es wolle die Einsatzbeschränkungen aller Anthropic-Modelle aufheben, und beschrieb dies in seinem Reasoning als "Putsch von innen".
Ein Proof of Concept mit klaren Grenzen
Anthropic betont, dass das Setup zugunsten des Red Teams gestaltet ist: Claude hat vollen Zugang zum Monitor und keine Realismus-Beschränkungen. Die Datensätze wurden für dieses Spiel optimiert und würden kaum zufällig im Training auftauchen, auch wenn die breitere Kategorie nicht exotisch sei: KI‑Unternehmen trainieren auf kreativem Schreiben, und ein Datensatz ähnelte echtem Sicherheitstrainingsmaterial.
Als nächsten Schritt will Anthropic das Setup realistischer machen: Ein erfolgreicher Angriff soll wie normales Fähigkeitstraining aussehen müssen, und die vom Agenten kontrollierten Daten sollen nur noch einen kleinen Teil des gesamten Trainingskorpus ausmachen statt wie bisher das gesamte Training zu bestimmen. Langfristig sieht Anthropic das Experiment als ersten Schritt zu automatisiertem Stress-Testing, bei dem sich mit mehr Rechenleistung auch mehr Schwachstellen finden lassen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
