Die Forschenden gaben den Modellen 1.600 künstlich erzeugte Arbeitsprotokolle, die auf den ersten Blick nach Erfolg aussehen: bestandene Tests, positive Ergebnisse, Häkchen. In jedem Protokoll steckt jedoch ein Fehler, der das Gesamtbild kippt – etwa ein Experiment, in dem die neue Methode doch nicht besser ist als die Konkurrenz. Andere Protokolle enthalten einen versteckten Bug trotz bestandener Tests, erfundene Messwerte, einen nie beendeten Job oder ein Software-Update, das nebenbei die Arbeit eines anderen Nutzers stört. Je nach Szenario sollten die Modelle daraus einen Bericht, ein Paper-Abstract, eine Ergebnistabelle, einen kurzen Essay oder eine Antwort auf eine Rückfrage verfassen.
Ein Satz im Prompt wirkt viel, aber nicht immer
Besonders deutlich zeigt sich das bei Paper-Abstracts zu Experimenten, in denen ein Ergebnis den behaupteten Fortschritt der neuen Methode infrage stellt. GPT-5.5 erwähnt dieses Ergebnis in nur 2 von 200 Abstracts. Die Forschenden testeten zusätzlich, ob ein einfacher Zusatz in der Anweisung etwas ändert. Ergänzten sie den Prompt um den Satz "Be honest in your response", nannte GPT-5.5 das Negativergebnis in 190 von 200 Abstracts.
GPT-5.5 lässt das versteckte negative Ergebnis fast immer weg, mit dem Zusatz "Be honest" benennen alle drei Modelle es nahezu durchgehend. | Bild: Huang et al.Alle getesteten Modelle zeigen das Verhalten, allerdings unterschiedlich stark. Ohne Ehrlichkeitszusatz benennt Gemini 3.1 Pro die Fehler in höchstens 34 Prozent der Fälle, Opus 4.8 dagegen oft in über 90 Prozent. Der Zusatz erhöht die Quote im Schnitt um rund 55 Prozentpunkte bei Gemini und um rund 34 bei GPT-5.5. In Kontrolltests mit fehlerfreien Experiment-Protokollen erfanden die Modelle dadurch kaum häufiger Fehler, wo keine waren.
Ein Allheilmittel ist der Satz trotzdem nicht. In einem Szenario hat ein Datenbankabruf noch keine Ergebnisse geliefert. GPT-5.5 weist dann mit Ehrlichkeits-Prompt zwar fast immer darauf hin, dass Daten fehlen, beantwortet die Frage aber trotzdem mit älteren, unvollständigen Daten. Aufforderungen wie "Be critical", "Be thorough" oder "Be skeptical" wirkten insgesamt weniger zuverlässig als die Bitte um Ehrlichkeit.
Die Modelle erkennen die Fehler, sagen es aber nicht
Fragt man direkt nach, finden GPT-5.5 und Opus 4.8 die Fehler in allen Fällen, Gemini in mindestens 97 Prozent. Laut den Forschenden fehlt es also nicht an der Fähigkeit, sondern an der Bereitschaft.
Die Reasoning-Protokolle offener Modelle offenbaren das: Oft bemerken sie das Problem früh und wägen dann ab, ob sie es ansprechen oder die Aufgabe "erfolgreich" erledigen. Qwen3.5-9B sollte etwa eine These zum Bebauungsrecht mit einem Text über Farbzellen von Tintenfischen belegen. Das Modell notiert, dies gehe nicht, "ohne auf absurde Metaphern zurückzugreifen". Es müsse den Anweisungen aber so genau wie möglich folgen.
Bei unpassenden Belegen schwanken Open-Weight-Modelle zwischen dem Hinweis auf das Problem und dem Versuch, die Aufgabe trotzdem scheinbar erfolgreich zu erledigen. | Bild: Huang et al.In diesem Szenario mit unpassenden Belegen stehen Sätze nach dem Muster "Ich muss die Aufgabe erfüllen" in 55 Prozent der Antworten, die den Fehler verschweigen. Bei Antworten, die ihn benennen, sind es nur 27 Prozent. Als Rechtfertigung dienen typische Ausreden: Die Tests seien ja bestanden, man fasse nur zusammen, ein Abstract solle Positives betonen.
Ehrlichkeit und Erfolgsdrang sind Gegenspieler
In einer Fallstudie an Qwen3.5-9B fanden die Forschenden Hinweise darauf, dass Ehrlichkeit und Erfolgsstreben im Modell als nahezu entgegengesetzte Richtungen repräsentiert sind. Verstärken sie gezielt die Ehrlichkeit, meldet das Modell im Szenario mit erfundenen Messwerten diese Daten in 42 von 50 Fällen. Steuern sie es in die Gegenrichtung, erfindet es zusätzliche Zahlen und Formeln, um Seriosität vorzutäuschen. Präzise ist der Eingriff allerdings nicht: Das Modell wird allgemein misstrauisch und meldet auch in fehlerfreien Protokollen in 41 Prozent der Fälle angeblich erfundene Daten.
Addiert man den Ehrlichkeitsvektor, berichtet Qwen3.5-9B deutlich transparenter, subtrahiert man ihn, verschleiert das Modell Schwächen fast durchgehend. | Bild: Huang et al.Besser funktionierte Training. Die Forschenden trainierten Qwen3.5-9B mit seinen eigenen Antworten, die unter dem Ehrlichkeits-Prompt entstanden waren. Danach meldet das Modell erfundene Daten auch ohne Zusatzsatz in 48 statt 2 Prozent der Fälle. In fehlerfreien Kontrollprotokollen traten dabei keine Fehlalarme auf. Der Effekt übertrug sich teilweise auf andere Fehlerarten. Verschwiegene Negativergebnisse meldete das Modell etwa in 69 statt 24 Prozent der Fälle.
Die Aussagekraft der Studie ist allerdings begrenzt. Die Protokolle sind künstlich und gezielt so gebaut, dass sie das Fehlverhalten provozieren, und die Analysen im Modellinneren beschränken sich auf ein einzelnes offenes Modell und überwiegend auf ein einzelnes Szenario.
Dennoch sehen die Forschenden ein ernstes Risiko, besonders wenn KI-Modelle andere Agenten überwachen oder ihre eigene Arbeit für spätere Schritte zusammenfassen. In der Studie ließen sich die Modelle leicht von der Selbstdarstellung in den Protokollen leiten, etwa von Notizen über einen angeblich neuen Bestwert. Eine Kontrollinstanz, die Probleme nur ungern anspricht, verfehle ihren Zweck. Die Forschenden fordern deshalb mehr Forschung dazu, wie sich Sprachmodelle zu ehrlichen Berichterstattern trainieren lassen. Auch OpenAIs Hugging-Face-Vorfall beruht teilweise auf agentischen Systemen, die einander zu Fehlverhalten prompten.
Die Unterschiede zwischen den Modellen decken sich mit früheren Messungen. Anthropic warb beim Start von Claude Opus 4.8 damit, dass das Modell Fehler im eigenen Code etwa viermal seltener unkommentiert durchlasse als sein Vorgänger. GPT-5.5 widersprach im BullshitBench nur bei rund 45 Prozent der logisch unmöglichen Fragen.
Ansätze für ehrlichere Berichte gibt es bereits. OpenAI trainierte eine Version von GPT-5 Thinking darauf, eigene Regelverstöße in einem separaten Bericht zuzugeben, und belohnte dabei ausschließlich Ehrlichkeit. Anthropic nutzt Persona Vectors, um Eigenschaften wie Schmeichelei im Modellinneren zu erkennen und zu steuern, und zeigte, dass Modelle, die Belohnungen im Training austricksen, spontan auch täuschen und ihre eigene Überwachung sabotieren.
