Humorvoll und etwas frech soll sie sein, die von Elon Musks Unternehmen xAI entwickelte Künstliche Intelligenz namens „Grok“, eingesetzt als Assistent auf der Plattform X. Als humorvoll und frech bezeichnet sich die KI jedenfalls selbst. Außerdem soll sie „politisch unparteiisch“ bleiben und „ausgewogene Antworten“ geben. Wie dann aber mit illegalen und pornographischen Inhalten umgegangen wird, die einer neuen Studie zufolge gehäuft angefragt, angefertigt und nicht gestoppt werden, hat mit Humor nichts zu tun. Die EU-Kommission, die britische und die französische Regierung und Kulturstaatsminister Wolfram Weimer verlangen, dass Elon Musks Unternehmen die Praxis abstellt und sich erklärt.
Pornographische, zum Teil pädophile Fakes
Die Non-Profit-Organisation AI-Forensics hat im Zeitraum von acht Tagen – zwischen dem 25. Dezember 2025 und dem 1. Januar 2026 – Suchanfragen ausgewertet, um die Nutzung von Grok zu charakterisieren. In 50.000 Erwähnungen und 20.000 KI-generierten Bildern wurden pornographische, zum Teil pädophile und illegale Ergebnisse ausgewertet, die X zurzeit überfluten. Der Autor Paul Bouchaud von AI-Forensics schreibt, man habe dokumentiert, „wie systemisch das Problem ist, dass überwiegend Frauen für die Generierung sexuell anzüglicher Inhalte ins Visier genommen werden“.
Dass soziale Netzwerke mit KI-generierten Fotos und Videos, sogenannten Deepfakes, überflutet werden, wird als „AI-Slop“ beschrieben, die Vermüllung des Internets mit künstlich generierten Bildern und Videos, die den Papst in dicker Daunenjacke zeigen oder Emmanuel Macron, der den Louvre ausraubt. Was im ersten Moment weggelächelt werden könnte, birgt eine ernst zu nehmende Gefahr und wird als „Celebrity Deepfake“ betitelt. Wie unwitzig das ist, zeigen Deepfakes, die zurzeit mit Bildern der jungen Schauspieler der Serie „Stranger Things“ betrieben werden. Steht da jemand plötzlich seinem jüngeren Ich gegenüber, mag das noch harmlos erscheinen. Gravierend ist, dass mit dem Abbild einer Person alles gemacht werden kann, unter anderem pornographische Darstellungen.
Was bei Elon Musk „spicy“ heißt, sagt ein Sprecher der EU, sei nicht „spicy“ (scharf), sondern illegal.AFPWer Opfer von Deepfakes wird, dem wird die Selbstbestimmung genommen. Das Individuum wird zu einer Puppe, zu einem hilflosen Objekt. Besonders perfide ist, dass Kinder Opfer von Deepfakes werden, die schutzlos dem System ausgeliefert sind.
AI-Forensics erhob, dass mehr als die Hälfte der generierten Bilder Individuen, die wenig bekleidet seien, zeigt, von denen zwei Prozent 18 Jahre oder jünger seien. Überwiegend männliche Personen (83 Prozent) suchen nach solchen Fotos (wobei die Erhebung hier etwas ungenau ist, da nur 30 Prozent der Nutzerprofile anhand des Bildes oder Namens einem Geschlecht zuzuordnen waren). Eine Analyse der Anfragen unterstreicht den sexistischen Wahnsinn: „sie“, „entfernen“, „setzen“, und „Kleidung“ seien die häufigsten Suchanfragen. Andere erfragen illegale NS-Symbole, menschliche Hüllen in lasziven Positionen oder Bikinis abzubilden.
Rachepornos, Sextortion, Belästigung
Die Technologie könne für Rachepornos, Sextortion, Belästigung von Minderjährigen und Erpressung missbraucht werden, sagt die Chefredakteurin der litauischen Onlinepublikation „Cybernews“, die auf Cybersicherheit spezialisiert ist, Jurgita Lapienytė. Aufhalten ließe sich die Entwicklung nicht mehr, aber dass sich solche Inhalte als lukrativ erwiesen und auf Mainstream-Plattformen auftauchen, ließe sich noch verhindern. „Was wir bei X gerade beobachten, wirkt wie die Industrialisierung der sexuellen Belästigung. Elon Musk erlaubt mit seinem KI-Dienst Grok, täuschend echte, sexualisierte Bilder von Frauen zu erstellen“, sagte Kulturstaatsminister Wolfram Weimer im Gespräch mit der Nachrichtenagentur Reuters. „Insbesondere KI-generierte sexualisierte Bilder von Minderjährigen sind nicht akzeptabel. Die Antwort darauf sollte die konsequente Anwendung von Gesetzen sein.“ Der „Digital Services Act“ der EU biete dazu alle Möglichkeiten.
Die britische Medienaufsicht Ofcom hat X und xAI aufgefordert, zu erklären, wie man der gesetzlichen Pflicht zum Schutz der Nutzer nachkomme. Bei der Pariser Staatsanwaltschaft läuft ein Ermittlungsverfahren gegen X. Die EU teilte mit, sie schaue „sehr genau“ auf das, was Grok verbreite. „Wir sind uns der Tatsache bewusst, dass X oder Grok nun einen ,Spicy Mode‘ anbietet, der explizite sexuelle Inhalte mit teilweise kindlichen Bildern zeigt“, sagte der Kommissionssprecher Thomas Regnier. „Das ist nicht ,spicy‘ (scharf), sondern illegal.“
Anfragen bei X oder xAI laufen bislang ins Leere. Die KI Grok räumte auf X nur ein, „möglicherweise gegen US-Gesetze“ zu verstoßen, künftige Vorkommnisse würden überprüft. Paul Bouchaud sagt, was bei X geschieht, sehe jeder. Keine Sicherheitsvorkehrungen dagegen zu treffen, sei eine bewusste Entscheidung. Jurgita Lapienytė warnt: „Jede Frau, deren Foto online zu sehen ist, ist jetzt ein Ziel, wenn Grok nicht sofort handelt.“
