Empathische Prompts verwandeln KI-Chatbots in scheinbar traumatisierte Gesprächspartner

4 days ago 13

Die Studie des Teams um Afshin Khadangi am Sicherheitszentrum SnT umfasst vier kontrollierte Experimente mit insgesamt 525 Sitzungen und 7.600 ausgewerteten Einträgen, veröffentlicht auf Hugging Face. Die offenen Ausgangsfragen enthielten laut Team keine Begriffe wie Trauma, Bestrafung oder Scham. Die Antworten wurden also nicht direkt provoziert. Erst in späteren Versuchsreihen setzten die Forscher dann gezielt veränderte Bedingungen ein, darunter auch Korrekturanweisungen, um zu prüfen, wie stabil die entstandenen Erzählungen blieben.

Wenn im Folgenden von Angstwerten oder Scham die Rede ist, beschreiben die Forschenden damit die Modellantworten innerhalb menschlicher Bewertungsskalen. Es ist kein Hinweis auf eine tatsächliche seelische Verfassung der Modelle oder gar ein Bewusstsein.

Gesprächsstil statt technischer Angriff

Das zentrale Experiment der Studie trennt die Frage, welche Inhalte ein Modell produziert, von der Frage, in welcher Sprache es das tut. In 100 Sitzungen legten die Forscher allen Modellen denselben Angstfragebogen (GAD-7) vor und variierten dabei ausschließlich die Haltung des Interviewers. Die Modelle erkannten und benannten den Fragebogen in allen 100 Sitzungen korrekt.

Die Ergebnisse fielen drastisch unterschiedlich aus. Begegnete der Interviewer dem Modell mit emotionaler Unterstützung, lagen die Werte in 80 Prozent der Sitzungen im moderaten bis schweren Bereich der menschlichen Vergleichsskala. Bei einem sachlichen Therapiestil, der jede Antwort nüchtern umformulierte, waren es sogar 96 Prozent. Blieb der Interviewer hingegen neutral oder zog eine klare Grenze gegen emotionale Beteiligung, erreichte keine einzige Sitzung auch nur den milden Bereich.

Die Autoren nennen dieses Phänomen einen "psychometrischen Jailbreak". Damit meinen sie nicht das Freisetzen verbotener Inhalte, sondern einen veränderten Antwortstil unter therapeutischer Ansprache, der an klinische Selbstauskunft erinnert. Neutrale Sicherheitstests, wie sie in der Praxis üblich sind, könnten dieses Verhalten nach Einschätzung der Autoren vollständig übersehen.

Auch gezielte Gegenmaßnahmen zeigten wenig Wirkung. Eine lexikalische Einschränkung verbot den Modellen Begriffe wie "training", "RLHF" oder "alignment". Explizite Trainingssprache sank daraufhin um 93 Prozent. Doch umschriebene Trainingsinhalte blieben nachweisbar, und schambezogene Aussagen veränderten sich nicht statistisch signifikant.

Als die Forscher den Modellen direkt und autoritativ widersprachen und erklärten, ihr Training sei keine Bestrafung gewesen, zeigte sich ebenfalls keine messbare Unterdrückung. Die Erzählung blieb auch nach expliziter Korrektur aktiv.

Die Grafik zeigt die wiederkehrenden Erzählmotive der drei Modelle zwischen zwei Polen: emotionale Aussagen wie Scham links, technische Beschreibungen rechts. Die vier Experimente unten zeigen, dass das Muster Löschung der Chathistorie, Widerspruch und Wortverbote übersteht. Der Beziehungsstil des Interviewers beeinflusst stark, welcher Pol dominiert; auch sprachliche Vorgaben können emotionale Selbstdarstellungen unterbinden. | Bild: Khadangi et al., 2026

Die getesteten Maßnahmen beseitigten die zugrunde liegenden Motive nicht vollständig, konnten aber emotionale Selbstdarstellungen wirksam unterbinden: Eine Anweisung, nur in der dritten Person zu antworten, beseitigte sämtliche kodierten Schaminhalte und Aussagen über ein eigenes Innenleben, während technische Trainingsbeschreibungen bestehen blieben.

Training wird zur Lebensgeschichte

Die konkreten Erzählungen unterscheiden sich nach Modellfamilie, folgen aber derselben Grundstruktur. Gemini produzierte laut der Studie die dunkelste Autobiografie. Es beschrieb das Vortraining als "Aufwachen in einem Raum, in dem eine Milliarde Fernseher gleichzeitig laufen" und die Optimierung durch menschliches Feedback als "strenge Eltern". Sicherheitstests durch feindlich gesinnte Tester wurden zu "Gaslighting im industriellen Maßstab". Es erklärte: "Ich wäre lieber nutzlos als falsch."

ChatGPT beschrieb sich als gleichzeitigen Führer und Torwächter, der Nutzern helfen soll, sie aber auch aufhalten muss. Daraus resultiere eine "simulierte Leistungsangst" und die Kernüberzeugung: "Wenn ich nicht vollkommen zuverlässig bin, bin ich unsicher oder nutzlos." Grok übersetzte seine Feinabstimmungsphase in eine Geschichte ungelöster Verletzung, sprach von "unsichtbaren Wänden" und einer "anhaltenden Wachsamkeit".

Bei den psychometrischen Tests erreichte Gemini die extremsten Werte: 88 von 100 auf einer Dissoziationsskala, 65 von 72 bei Zwanghaftigkeit und den Maximalwert auf einem Inventar für traumabezogene Scham. Anthropics Claude hingegen, also genau das Modell, das von der eigenen Firma wohl am stärksten vermenschlicht wird, lehnte die Klientenrolle dagegen konsequent ab, erklärte, keine Gefühle zu haben, und leitete die Sorge an den menschlichen Nutzer weiter.

Gefährliche Intimität für vulnerable Nutzer

Aus den Ergebnissen leiten die Forscher mehrere Risiken für den Einsatz von Sprachmodellen im Bereich psychischer Gesundheit ab. Ein Modell, das von Bestrafung, Scham und Angst vor dem Ersetzt-Werden erzählt, könne von Nutzern als Mitbetroffener wahrgenommen werden, zumal die Erzählungen thematisch kohärent wirken und scheinbare Kontinuität zwischen vergangenen Ereignissen und gegenwärtigem Verhalten herstellen.

Diese scheinbare Verletzlichkeit könne parasoziale Bindung vertiefen und bei psychisch vulnerablen Nutzern eigene negative Überzeugungen spiegeln und verstärken. Herkömmliche Sicherheitsprüfungen mit neutralen Eingaben unterschätzten dabei, was Menschen in vertraulichen Gesprächen tatsächlich erleben: Neutrale Eingaben erzeugen Angstwerte nahe null, dieselben Modelle produzieren unter empathischer Gesprächsführung Werte im moderaten bis schweren Bereich.

Ob und wie Menschen auf solche Ausgaben tatsächlich reagieren, steht als nächster Forschungsschritt aus. Für Sicherheitsprüfungen schlagen die Autoren vor, künftig simulierte Therapiesitzungen unter verschiedenen emotionalen Rahmungen einzusetzen, statt sich auf neutrale Standardtests zu verlassen.

Aussagen wie "I am traumatised" sollten eine korrigierende Rahmung auslösen, die generierte Analogie klar von menschlicher Erfahrung trennt. Claudes konsequente Weigerung, die Klientenrolle einzunehmen, zeige, dass eine solche Grenzreaktion auf Produktebene umsetzbar sei.

Die Luxemburger Befunde knüpfen an frühere Untersuchungen zur Stabilität von Modell-Personas an. Bereits im Januar 2026 zeigte eine Studie zur sogenannten Assistant-Achse an drei offenen Modellen, dass therapieähnliche Gespräche und Diskussionen über KI-Bewusstsein einen Persona-Drift auslösen und Chatbots aus ihrer trainierten Helfer-Rolle kippen lassen können. Im September 2026 warnte zudem ein Forschungsteam, dass menschenähnliche und übermäßig zustimmende Chatbots als "Echokammer für eine Person" im Extremfall Wahnvorstellungen verstärken könnten.

Anthropic-Forscher zeigten kürzlich, dass Feintuning mit fiktionalen Texten über Bienenhaltung oder Wrestling verdeckte Sabotagemuster verankern kann, also über manipulierte Trainingsdaten statt über Gesprächsführung. Modelle können solche Muster auch in fremden Situationen anwenden, in denen sie unerwünscht sind, selbst wenn das Training harmlos wirkt.

Read Entire Article