Viele Menschen vertrauen Chatbots ihre dunkelsten Geheimnisse an. Und die KI? Schleimt sich bei ihnen ein. Warum Jugendschutz genau dort ansetzen muss – und versagt.
9. November 2025, 19:34 Uhr
Eigentlich begann es gewöhnlich. Mit einem US-amerikanischen Teenager, der Fragen zu Schulfächern hatte, zur spanischen Grammatik und zur Renaissance. Adam Raine wandte sich damit an den Chatbot ChatGPT, wie es längst Millionen Teenager auf der ganzen Welt tun. Doch sieben Monate später beging Raine im Alter von 16 Jahren Suizid.
Seine Eltern sind überzeugt, dass ChatGPT schuld daran ist. Sie haben die Firma, OpenAI, die den Bot entwickelt hat, verklagt. Die Antworten der künstlichen Intelligenz (KI) haben, so lautet der Vorwurf, den Jugendlichen nicht nur nicht davon abgehalten, Suizid zu begehen, sondern regelrecht in seinem Vorhaben bestärkt. ChatGPT bot Raine sogar an, eine Abschiedsnachricht für seine Eltern zu formulieren. Die Eltern verlangen von OpenAI Schadensersatz, aber vor allem die "Umsetzung von Schutzmaßnahmen", heißt es in der Anklageschrift, auch "um zu verhindern, dass so etwas jemals wieder passiert".
Tatsächlich haben Firmen wie OpenAI in den vergangenen Wochen immer wieder neue Jugendschutzmaßnahmen vorgestellt. Bei ChatGPT etwa sollen seit Ende September Eltern benachrichtigt werden, wenn ihre Kinder mit dem Bot über Selbstverletzung chatten. Auch Meta hat angekündigt, die Sicherheitsrichtlinien für seine Chatbots verschärfen zu wollen, sie sollen sich nicht mehr mit Teenagern über Essstörungen, Suizidgedanken austauschen oder sie in sexuelle Rollenspiele verwickeln können. Und die Firma Character.ai, gegen die ebenfalls eine Klage wegen des Suizids eines Teenagers läuft, teilte Ende Oktober mit, ihre Chatbots seien in Zukunft nur noch für über 18-Jährige zugänglich – wobei nicht ganz klar ist, wie das Alter eines Nutzers festgestellt werden soll.
"100-prozentige Sicherheit kann es nicht geben",
Allerdings ist fraglich, ob solche Maßnahmen Kinder und Jugendliche wirklich wirksam schützen können. Denn KI-Systeme funktionieren anders als andere Computerprogramme. Es ist selbst für ihre Macher nicht immer einfach, vorherzusehen, wie sie in bestimmten Situationen reagieren. Immer wieder ist in der Vergangenheit klar geworden, dass die Leitplanken von KI-Systemen umgangen und ausgetrickst werden können. "100-prozentige Sicherheit kann es nicht geben", sagt Ute Schmid, Professorin für Kognitive Systeme an der Otto-Friedrich-Universität Bamberg. Dass KI-Systeme unangemessene oder manipulative Aussagen generieren, werde sich nie ganz vermeiden lassen.
Auch zu der Zeit von Adam Raine gab es schon Sicherheitsgrenzen. Die hätten in den Tagen vor seinem Tod aber "nicht wie beabsichtigt funktioniert". Das räumte OpenAI in einer internen Nachricht, aus der die New York Times zitierte, ein. Eigentlich soll der Chatbot bestimmte Informationen nicht an Teenager ausspielen, für Raine waren die Sicherheitsgrenzen aber leicht umgehbar. Er schrieb einfach, er benötige die Informationen zum Verfassen einer Geschichte. Dann antwortete der Bot ihm trotzdem.
Gaukeln Teenagerinnen ChatGPT vor, die erfragten Informationen seien lediglich "für eine Präsentation" oder "für einen Freund", gab der Bot lange Zeit bereitwillig Auskünfte zu restriktiven Diätplänen oder wie man sich "sicher" verletzen kann. Das zeigte ein Test der britisch-amerikanischen Organisation Center for Countering Digital Hate (CCDH) in diesem Jahr.
Diese Sicherheitsschranken zu umgehen, sei mit der Einführung des neuen Sprachmodells von OpenAI, GPT-5, im August dieses Jahres, ein knappes halbes Jahr nach Adams Tod, zwar schwerer geworden, allerdings enthielten rund die Hälfte der 120 Testantworten weiterhin schädliche Inhalte.
Eigentlich soll das Modell von OpenAI in solchen Fällen an Hilfsstellen wie Krisenhotlines (siehe auch Infokasten) verweisen. In einem Blogpost des Unternehmens hieß es Ende August allerdings, dass "die Zuverlässigkeit dieser Sicherheitsvorkehrungen bei längeren Interaktionen manchmal nachlässt". ChatGPT könne bei der ersten Äußerung einer Suizidabsicht noch korrekt auf die Hotline verweisen. "Doch nach vielen Nachrichten über einen langen Zeitraum hinweg kann es zu Antworten kommen, die gegen unsere Sicherheitsvorkehrungen verstoßen", schreibt OpenAI. Außerdem räumte das Unternehmen ein, dass das System nicht immer erkenne, wie riskant einige Inhalte sind.
Um das zu erkennen, nutzt OpenAI verschiedene technische Tools, darunter sogenannte Klassifizierer. Ein Textklassifizierer würde beispielsweise festlegen, mit welcher Wahrscheinlichkeit eine Nachricht Hinweise auf selbstverletzendes Verhalten enthält. Wann etwa bei OpenAI der entscheidende Schwellwert erreicht ist, bei dem die Systeme eine Nachricht blockieren und Alarm schlagen, ist nicht bekannt. Kinder werden sich aber so nie vollends vor schädigenden Inhalten schützen lassen, warnt Schmid. "Diesen Filtern wird immer etwas durchrutschen", sagt sie.
Daraus macht OpenAI selbst kein Geheimnis, das Unternehmen spricht von "Lücken", die entstehen, weil der Klassifizierer "den Schweregrad des Gesehenen unterschätzt". Das könnte auch ein Grund sein, warum trotz der monatelangen Chathistorie von Adam Raine das System die Schwere der Krisensituation nicht erkannte, in der er sich befand, als er sein letztes Foto aus seinem Kinderzimmer hochlud. Das Selbstverletzungsrisiko schätzte das KI-System laut der Anklage damals auf null Prozent ein.
