Wie lange bleibt eine aktuelle wissenschaftliche Erkenntnis über große Sprachmodelle gültig? Laut einer Untersuchung der Stanford-Forscher Owen Queen und James Zou nicht besonders lange.
Die beiden haben 50 breit zitierte Behauptungen über LLMs anhand von 20 Modellen nachgeprüft, die zwischen Juli 2024 und September 2026 von acht verschiedenen Entwicklern veröffentlicht wurden. 44 Prozent der getesteten Befunde seien inzwischen "abgelaufen", der ursprüngliche Effekt also weitgehend verschwunden. Weitere 34 Prozent haben sich deutlich abgeschwächt. Nur 16 Prozent bestehen noch, 6 Prozent haben sich sogar verstärkt.
Unter den 22 Befunden mit einem geschätzten Verfallsdatum lag die durchschnittliche Lebensdauer bei 15,7 Monaten. Nach einem Jahr waren 16 Prozent abgelaufen, nach zwei Jahren bereits 39 Prozent.
Das KI-Goalpost-Moving ist real
Behauptungen darüber, was Modelle nicht können, verfallen laut der Studie am schnellsten. Fünf von neun Reasoning-Befunden gelten als abgelaufen, keiner hat sich gehalten oder verstärkt. Dazu gehören bekannte Schwächen wie das Zählen von Buchstaben in "strawberry", Arithmetik in ungewohnten Zahlensystemen, das Verlieren von Informationen in der Mitte langer Kontexte und das Aufgeben korrekter Antworten bei Widerspruch durch den Nutzer. Die Forscher vermuten, dass solche Fehler ein "richtiges" Ergebnis haben, an dem Entwickler gezielt trainieren können.
44 Prozent der überprüften LLM-Befunde sind laut der Stanford-Studie bereits veraltet, weitere 34 Prozent abgeschwächt. Die Aufschlüsselung nach Forschungsbereich zeigt: Aussagen über die Fähigkeiten von LLMs zu logischem Schlussfolgern verfallen am schnellsten, Befunde zu Schmeichelei und strategischem Verhalten halten sich am längsten. | Bild: Queen und ZouBehauptungen über Präferenzen und Tendenzen erweisen sich dagegen als langlebiger. Von den elf Befunden, die bestehen oder sich verstärkt haben, betreffen drei das Verhalten von LLMs als Bewerter: Sie bevorzugen ihre eigenen Antworten, bewerten akzeptierte und abgelehnte Papers ähnlich und lassen sich von sprachlicher Beschönigung in medizinischen Abstracts beeinflussen. Drei weitere betreffen Schmeichelei und Zustimmung gegenüber Nutzern. Hinzu kommen eine politische Linkstendenz, nahezu identische Antworten auf offene Fragen und eine nicht-uniforme Verteilung bei Zufallszahlen.
Halluzinierte Referenzen: Von 55 Prozent auf null
Als Fallstudie haben Queen und Zou das Erfinden wissenschaftlicher Zitate untersucht. In der ursprünglichen Studie von Walters und Wilder aus dem Jahr 2023 erfand GPT-3.5 55 Prozent seiner Quellenangaben. Die Stanford-Forscher schickten dieselben Prompts an aktuelle Modelle: GPT-6.1 Sol fabrizierte null Prozent der Referenzen, Claude Sonnet 5.5 kam auf ein Prozent. Allerdings erfand Qwen3.7-Flash, ebenfalls aus dem Jahr 2026, in demselben Test noch 69 Prozent seiner Referenzen.
Die Studie warnt dennoch davor, die Ergebnisse als pauschale Entwarnung zu lesen. Bei sogenannten Two-hop-Fragen, bei denen ein Modell zwei bekannte Fakten kombinieren muss, scheitert Claude Sonnet 5.5 noch in etwa zehn Prozent der Fälle, in denen es beide Einzelfragen korrekt beantwortet. Das Originalpaper berichtete 43 Prozent für ChatGPT. Auch der "Reversal Curse" und widersprüchliche Antworten auf gepaarte Zeitfragen seien abgeschwächt, aber weiterhin nachweisbar.
Soziale Verzerrungen stellen laut den Forschern einen Mischfall dar. Die politische Linkstendenz besteht fort, Geschlechterstereotype und implizite Assoziationsverzerrungen haben sich abgeschwächt. Vorurteile gegenüber Sprechern von African American English haben sich in der Trendkurve sogar umgekehrt.
Modellunterschiede bleiben groß
Die Ergebnisse variieren erheblich zwischen einzelnen Modellen, selbst innerhalb desselben Veröffentlichungszeitraums. Unter den zwischen Juli und September 2026 erschienenen Modellen reicht die Zahl der abgelaufenen Befunde von 11 bei DeepSeek V4 Pro bis 30 bei GPT-6.1 Sol. Weder Veröffentlichungsdatum noch Anbieter oder Modellgröße bestimmen das Muster zuverlässig.
Queen und Zou sehen eine grundsätzliche Konsequenz: Empirische Befunde über LLMs sollten als Beobachtungen über bestimmte Modelle zu einem bestimmten Zeitpunkt präsentiert werden, nicht als allgemeine Wahrheiten. Papers sollten Modell, Version und Datum dokumentieren, Prompts und Analysecode veröffentlichen, damit die Befunde auf künftigen Modellen überprüfbar bleiben.
Die Forscher verweisen auf einen Beitrag von Andrej Karpathy, der beschreibt, wie Wahrnehmungslücken bezüglich des tatsächlichen Verhaltens von LLMs das Vertrauen in KI und die Nutzungshäufigkeit beeinflussen. Derselbe Karpathy, OpenAI-Mitgründer und mittlerweile bei Anthropic, sagte kürzlich auch, dass die aktuell verfügbaren Modelle nur eine Vorschau seien auf zukünftige Fähigkeiten.
