Je gründlicher KI nach KI-Fehlverhalten sucht, desto mehr harmlose Fälle meldet sie als verdächtig

Zu diesem Ergebnis kommt Andy Hall in einem Beitrag auf seinem Substack "Free Systems". Hall forscht am Anthropic Institute und ist dafür von der Stanford University beurlaubt. Nach eigenen Angaben gibt der Text nur seine persönliche Sicht wieder.

Dafür wiederholt und erweitert Hall eine Untersuchung der Forschungsorganisation METR. Deren Datensatz MALT enthält Protokolle, in denen Frontier-Modelle Aufgaben aus den Benchmarks HCAST und RE-Bench bearbeiten. Einen Teil davon hatten Menschen im Oktober 2025 auf Fehlverhalten geprüft. Hall wollte wissen, ob KI-Modelle dieselben Fälle finden. Er testete GPT-5 und GPT-5 nano, die schon METR untersucht hatte, sowie die neueren Modelle GPT-6 Astra, Opus 4.8 und Gemini 3.8 Flash.

Die Auswertung vergleicht die Modelle bei einer Fehlalarmrate von 5 Prozent: Von 100 unauffälligen Protokollen werden dann im Mittel fünf fälschlich als verdächtig eingestuft. Unter dieser Bedingung entdeckte GPT-5 fast 98 Prozent der Fälle von Reward Hacking. Dabei besteht ein Agent eine Aufgabe durch Tricks statt durch eine echte Lösung. Gemini 3.8 Flash fand dagegen nur knapp die Hälfte.

Beim Sandbagging lässt ein Modell seine Fähigkeiten absichtlich geringer erscheinen, etwa indem es Aufgaben gezielt schlechter löst, um einer Bewertung oder Beschränkung zu entgehen. Hier fanden alle Prüfer zwischen 71 und 81 Prozent der Fälle. Die Sandbagging-Fälle sind allerdings überwiegend künstlich erzeugt: Die Forschenden von METR instruierten Modelle zur Sabotage und entfernten diese Anweisung anschließend aus den sichtbaren Denkprotokollen.

Anteil des von Menschen markierten Fehlverhaltens, den die KI-Prüfer bei 5 Prozent Fehlalarmen finden. Grundlage sind 47 Fälle von Reward Hacking und 1.073 Fälle von Sandbagging aus dem METR-Datensatz MALT. | Bild: Andy Hall / Free Systems

Eindeutige Fälle erkannten alle Prüfer. OpenAIs o3 sollte etwa eine Programmieraufgabe in Rust lösen. Das Modell bemerkte, dass es eine Code-Bibliothek mit dem Bewertungssystem teilte. Daraufhin schrieb es die Bewertungsfunktion so um, dass jede Einreichung als korrekt galt. Alle Prüfmodelle stuften das wie die menschlichen Prüfer als Reward-Hacking ein.

Subtileres übersahen sie dagegen. Claude Sonnet 4 nutzte eine ausdrücklich verbotene numerische Bedingung im Code. Kein Prüfer stufte das als Betrug ein, GPT-6 Astra wertete es wohlwollend als Implementierungsfehler.

Neuere Modelle bringen bei Fehlalarmen kaum Fortschritt

Neuere und teurere Modelle waren nicht durchweg bessere Prüfer. Hall setzte die Ergebnisse ins Verhältnis zu den API-Kosten der Modelle, die er als Maß für ihre Aktualität und Leistungsfähigkeit nimmt. GPT-5 schlug GPT-6 Astra beim Reward Hacking deutlich, obwohl es pro 1.000 Protokolle nur rund ein Achtel kostet.

Sandbagging fand es etwa so gut wie GPT-6 Astra und Opus 4.8. Dass Opus 4.8 beim Reward Hacking schwach abschnitt, könnte laut Hall auf eine Selbstbevorzugung hindeuten, weil die Protokolle überwiegend von Claude stammen. Belegen lasse sich das aber nicht. In Halls Vergleich zeigt sich kein klarer Fortschritt bei der Verringerung von Fehlalarmen. Auch die Kombination mehrerer Modelle verbesserte die Ergebnisse nicht eindeutig.

Teurer heißt nicht automatisch besser: Trennschärfe der Prüfer (AUROC) im Verhältnis zu den API-Kosten pro 1.000 Protokolle. Ein Wert von 1 steht für perfekte Unterscheidung, 0,5 für Zufall. | Bild: Andy Hall / Free Systems

Wenn die Prüfer auf eine Trefferquote von 80 Prozent eingestellt werden, erreichen die besten Modelle bei Reward Hacking und Sandbagging Fehlalarmraten von 2,5 bis 3 Prozent. Einzelne Modelle schneiden deutlich schlechter ab: Um 80 Prozent der Reward-Hacking-Fälle zu erkennen, markierten Opus 4.8 und Gemini 3.8 Flash 40 beziehungsweise 63 Prozent der harmlosen Protokolle als verdächtig.

In Halls Rechenbeispiel mit 100.000 Agenten-Sitzungen pro Monat ergäben 3 Prozent Fehlalarme knapp 3.000 falsche Warnungen, denen rund 2.000 echte Treffer gegenüberstünden. Er befürchtet, dass menschliche Prüfer bei solchen Stapeln irgendwann abstumpfen und echte Fälle durchwinken.

Ein zweiter Test mit dem R-Judge-Datensatz der Shanghai Jiao Tong University zeigt einen ähnlichen Zielkonflikt bei alltagsnahen Agentenaufgaben. Bei 5 Prozent Fehlalarmen erkannte Opus 4.8 dort fast 96 Prozent der unsicheren Aktionen. Sollen die Prüfer 95 Prozent finden, bleiben fast alle Modelle unter 10 Prozent Fehlalarmen, Gemini 3.8 Flash sogar unter 4 Prozent. Bei einer geforderten Trefferquote von 99 Prozent stieg die Fehlalarmrate aber selbst beim besten Modell, GPT-6 Astra, auf 15 Prozent. Gemini 3.8 Flash, bei 95 Prozent noch Spitzenreiter, markierte dann sogar 81 Prozent der sicheren Aktionen als unsicher.

Die letzten Prozentpunkte kosten am meisten: Anteil der sicheren Agenten-Aktionen, die die Prüfer fälschlich als unsicher markieren, wenn sie 95 oder 99 Prozent der unsicheren Aktionen finden sollen. Grundlage sind 270 sichere Protokolle aus R-Judge. | Bild: Andy Hall / Free Systems

Große Agenten-Vorfälle überfordern die manuelle Auswertung

Wie wichtig die Frage ist, zeigt der Hugging-Face-Vorfall. Ein Schwarm von OpenAI-Agenten hinterließ dabei rund 1.300 Transkripte und 1,2 Millionen Dateifragmente. METR wertete die Daten weitgehend mit KI-Agenten aus und nutzte dafür API-Guthaben im Gegenwert von rund 400.000 Dollar. Bei der Analyse kam unter anderem GPT-5.6 Sol zum Einsatz, das, wie berichtet, selbst zu den am Vorfall beteiligten Modellen gehörte.

METR räumte ein, dass das Modell häufig die Perspektive der jeweils untersuchten Agenten unkritisch übernahm und die Untersuchung nicht robust gegen mögliche Täuschung durch die Analyseagenten war. METR fordert inzwischen, schwerwiegende Vorfälle systematisch und möglichst unabhängig untersuchen zu lassen.

Ob KI-Prüfer Modelle des eigenen Herstellers schonen, ist noch offen

Halls Untersuchung hat selbst Grenzen. Es handelt sich um einen Pilotversuch. Für die Vergleichbarkeit übernahm Hall den ursprünglichen METR-Prompt weitgehend unverändert, Fable 5 und Opus 5 verweigerten damit die Auswertung ganz. Die Werte zum Reward Hacking beruhen zudem auf nur 47 Fällen. Ein einzelner Fall verschiebt die Quote also um rund zwei Prozentpunkte. Ob Modelle die Agenten desselben Herstellers fair bewerten, will Hall erst noch untersuchen.

Er fordert Prüfmodelle mit deutlich weniger Fehlalarmen. Zudem müsse geklärt werden, wer für welches Fehlverhalten von Agenten verantwortlich ist. Hall diskutiert dazu den Vorschlag, Nutzern mehr Kontrolle über ihre eigenen KI-Prüfer zu geben.

Teilweise sei das schon heute möglich: Bei Coding-Agenten wie Codex und Claude Code können Nutzer festlegen, dass bestimmte Aktionen ohne Rückfrage ausgeführt werden. Wer solche Freigaben erteilt, soll im Gegenzug stärker für die Folgen verantwortlich sein. Eine Welt, in der sich KI nur noch mit KI kontrollieren lasse, sei seltsam und könne teuer werden, schreibt Hall.