Gängige KI-Textdetektoren erkennen einfach generierte KI-Texte zuverlässig. Doch wenn Sprachmodelle gezielt den Stil eines bestimmten Autors nachahmen, bleibt bis zu jeder fünfte KI-Text unerkannt. Besonders schlecht schneiden die Detektoren bei wissenschaftlichen Texten ab.
Ein Forschungsteam von Epoch AI testete drei der bekanntesten KI-Textdetektoren: Pangram (Version 3.3.2), GPTZero (Modell 2026-05-11-base) und Originality.ai (Turbo 3.0.2). Geprüft wurde anhand von drei Kategorien: echte menschliche Texte, KI-Texte aus einfachen Prompts und KI-Texte, die gezielt den Stil eines bestimmten Autors nachahmten.
Für den Test erstellte das Team einen Korpus aus 495 menschlichen Passagen von 99 Autoren, gleichmäßig verteilt auf Blogging, Fiktion und wissenschaftliches Schreiben. Sämtliche Texte stammen aus der Zeit vor dem ChatGPT-Release im November 2022, was eine Kontamination durch Sprachmodelle praktisch ausschließt.
Bei einfach generierten KI-Texten funktionieren alle drei Detektoren nahezu fehlerfrei. Die Falsch-Negativ-Rate lag bei maximal 0,7 Prozent. Auch menschliche Texte wurden überwiegend korrekt eingestuft: Pangram und GPTZero produzierten keinen einzigen Fehlalarm. Originality.ai markierte 19 von 495 menschlichen Passagen fälschlicherweise als KI-generiert, was einer bedenklich hohen Falsch-Positiv-Rate von 3,8 Prozent entspricht.
Stilimitation lässt Erkennungsraten einbrechen
Das Bild ändert sich drastisch, wenn Sprachmodelle Textproben eines Autors als Vorlage erhalten. Für den Test bekamen drei Frontier-Modelle, Claude Opus 4.8, GPT-5.5 und Gemini 3.1 Pro, jeweils fünf echte Textpassagen eines Autors und sollten darauf basierend einen neuen Text im selben Stil verfassen.
Von den so erzeugten 297 Passagen blieben laut Epoch AI durchschnittlich 38 unerkannt, was einer Falsch-Negativ-Rate von rund 13 Prozent entspricht. Pangram übersah 10 Prozent der stilimitierten Texte, GPTZero 11 Prozent und Originality.ai 18 Prozent.
Sobald die KI menschliche Autorinnen und Autoren imitiert, schnellt die Fehlerrate der Detektoren in die Höhe. | Bild: Epoch AIAuffällig ist der Unterschied zwischen den Textgattungen. Bei Fiktion lag die Falsch-Negativ-Rate über alle Detektoren hinweg bei lediglich 1 bis 5 Prozent. Bei wissenschaftlichem Schreiben dagegen versagten die Detektoren deutlich häufiger: Pangram erkannte 25 Prozent der stilimitierten wissenschaftlichen KI-Texte nicht, GPTZero 24 Prozent und Originality.ai 29 Prozent.
Die extremsten Einzelwerte traten in der Kombination bestimmter Modelle mit wissenschaftlichem Schreiben auf. Pangram übersah laut den veröffentlichten Daten 48 Prozent der von Gemini generierten wissenschaftlichen Passagen. Bei Originality.ai blieben 39 Prozent der wissenschaftlichen GPT-5.5-Texte unerkannt.
Unterschiedliche Ansätze, ähnliche Schwächen
Technisch gehen die drei Anbieter unterschiedliche Wege. Pangram nutzt ein neuronales Netz, das mit menschlichen und maschinell erzeugten Texten trainiert wurde. Warum es im Einzelfall zu einem bestimmten Urteil kommt, lässt sich allerdings nicht nachvollziehen. Der Gründer bezeichnet das System selbst als Blackbox.
GPTZero achtet unter anderem darauf, wie vorhersehbar die Wortwahl ist und wie stark dieses Maß innerhalb eines Textes schwankt. Dahinter steht die Annahme, dass Sprachmodelle gleichmäßiger formulieren als Menschen. Originality.ai sucht ebenfalls nach statistischen Mustern, die es beim Training mit menschlichen und KI-generierten Texten gelernt hat.
Trotz dieser unterschiedlichen Methoden zeigen alle drei Detektoren dasselbe Muster: Texte aus einfachen Prompts erkennen die Systeme fast immer, gezielte Stilkopien deutlich seltener. Ausgerechnet wissenschaftliches Schreiben, also jene Gattung, in der KI-Detektion im akademischen Alltag wohl am häufigsten zum Einsatz kommt, bleibt die am schwersten zu erkennende.
Ein früherer Test der Authors Guild kam zu dem Ergebnis, dass Pangram und Originality.ai menschliche Texte zuverlässig als solche einstuften. Die Untersuchung von Epoch AI ergänzt nun die andere Hälfte des Bildes: Wenige Fehlalarme bei menschlichen Texten sagen wenig darüber aus, wie viele KI-Texte unentdeckt bleiben.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
