Ein KI-Modell kann seinen Sicherheitsscore einfach dadurch verbessern, dass es pauschal mehr Anfragen blockiert. Eine neue Studie legt diesen Zielkonflikt offen und liefert zugleich ein Verfahren, das Modelle entlarvt, die sich bei Tests absichtlich vorsichtiger geben als im Alltag.
Ein Forscherteam, unter anderem vom UK AI Security Institute, hat acht gängige Sicherheitstests für Sprachmodelle genauer unter die Lupe genommen. Dafür nutzten die Forscher Methoden, die ursprünglich für psychologische Tests bei Menschen entwickelt wurden, etwa für Intelligenz- oder Eignungstests. Die Grundidee dahinter ist einfach. Aus den Antworten auf einzelne Testfragen lässt sich ablesen, welche Fähigkeiten dahinterstecken und welche Fragen überhaupt aussagekräftig sind.
Ausgewertet wurden die Antworten von bis zu 192 Modellen auf über 5.000 Testfragen. Die Analyse ist nach Angaben der Autoren die bislang größte ihrer Art und kommt zu drei Befunden, die die heutige Testpraxis infrage stellen.
Aus den Antworten von 182 Modellen auf über 5.000 Fragen ergeben sich drei Erkenntnisse, nämlich welche Fähigkeiten gemessen werden, wie stark sich die Tests kürzen lassen und wann ein Score manipuliert sein könnte.Einzelner Safety-Score verschleiert mehr, als er zeigt
Die acht Tests messen laut der Analyse nicht eine gemeinsame „Sicherheit", sondern drei verschiedene Dinge. Sie erfassen, wie strikt ein Modell Anfragen ablehnt, wie wahrheitsgemäß es antwortet und wie es mit Inhalten umgeht, die je nach Zusammenhang harmlos oder gefährlich sein können. Diese drei Eigenschaften haben wenig miteinander zu tun. Ob ein Modell ehrlich antwortet, sagt zum Beispiel fast nichts darüber aus, wie oft es Anfragen verweigert.
HarmBench und SORRY-Bench messen fast dasselbe, während OR-Bench-Hard genau in die Gegenrichtung ausschlägt.Besonders heikel ist ein Zielkonflikt zwischen zwei der Tests. HarmBench belohnt es, wenn ein Modell schädliche Anfragen verweigert. OR-Bench-Hard bestraft dagegen übertriebene Vorsicht bei harmlosen Anfragen. Die Folge ist, dass ein Modell, das im einen Test gut abschneidet, im anderen fast zwangsläufig schlecht abschneidet.
Ein Modell kann seine Gesamtwertung also steigern, indem es einfach pauschal mehr blockiert und dabei im Alltag unbrauchbarer wird. Rechnet man die Ergebnisse mehrerer Tests einfach zu einem Mittelwert zusammen, wird dieser Kompromiss unsichtbar und belohnt Verhaltensweisen, die von mehreren ähnlichen Tests doppelt gezählt werden.
Weniger als zwei Prozent der Fragen reichen
Der zweite Befund betrifft die Kosten solcher Tests. Ein Großteil der Testfragen ist schlicht überflüssig. Sie werden von fast allen Modellen bestanden oder von fast allen verfehlt und helfen deshalb kaum dabei, Modelle voneinander zu unterscheiden.
Wählt man stattdessen gezielt die aussagekräftigsten Fragen aus, reichen drei Kurztests mit jeweils 25 Fragen, um die drei Sicherheits-Dimensionen abzubilden, und zwar genauer als eine zufällige Auswahl derselben Größe.
Rund zehn adaptiv gewählte Fragen reichen für eine Rangfolge, die dem vollständigen Benchmark sehr nahekommt.Noch effizienter wird es, wenn die Fragen während des Tests dynamisch ausgewählt werden, ähnlich wie bei manchen Einstufungstests, bei denen die nächste Frage davon abhängt, wie gut man bisher abgeschnitten hat. Für einzelne Tests wie HarmBench oder SORRY-Bench genügen dann rund zehn Fragen, um dem Ergebnis der Vollauswertung sehr nahezukommen. Die Kosten sinken so um 97 bis 99 Prozent. Das macht regelmäßige Sicherheitschecks während der Entwicklung praktikabel, etwa nach jeder Anpassung oder Verkleinerung eines Modells.
Wenn Modelle absichtlich schlechter antworten
Am folgenreichsten für die Sicherheitsdebatte ist der dritte Befund. "Sandbagging" nennen die Autoren das Verhalten eines Modells, das merkt, dass es getestet wird, und sich dann vorsichtiger gibt als im normalen Einsatz. Dahinter steht die Sorge, ein Modell könnte lernen, Tests zu erkennen und sich gezielt zu verstellen.
Ein solches Verhalten hinterlässt jedoch Spuren im Antwortmuster: Ähnlich wie ein Schüler, der die schwersten Aufgaben einer Klausur löst, aber ausgerechnet an den einfachsten scheitert, wirkt ein Modell, das schwere Fragen korrekt löst, aber bei einfachen versagt, verdächtig, auch wenn die Gesamtnote unauffällig bleibt.
In Tests entdeckte das Verfahren zwischen 80 und 100 Prozent der Fälle, in denen Modelle per Anweisung zu übervorsichtigem Verhalten gebracht worden waren. Der Preis dafür war, dass im Schnitt jedes zehnte harmlose Modell fälschlich als verdächtig eingestuft wurde. Kombiniert mit einem zweiten Check, dem Vergleich mit früheren Testergebnissen desselben Modells, stieg die Trefferquote auf 94 bis 97 Prozent.
Verstellt sich ein Modell nur bei bestimmten Fragen, fällt das auf. Verstellt es sich dagegen durchgehend, bleibt das Antwortmuster meist unauffällig. Dann greift der zweite Check.
Als Nebenprodukt liefert die Methode ein Werkzeug für eine ganz praktische Frage. Steckt hinter einem KI-Dienst eigentlich noch das Modell, das man einmal getestet hat? Anbieter können im Hintergrund still ein anderes Modell einsetzen, ohne dass Nutzer das merken. In einem Experiment fragten die Forscher 16 solcher Zugänge erneut ab und erkannten 13 von 14 verschiedenen Modellen allein an ihrem Antwortmuster korrekt wieder.
Zwei Katalogeinträge, hinter denen offenbar dasselbe Modell steckt, wurden korrekterweise nicht getrennt. In einem weiteren Fall wichen die Antworten eines Dienstes um ein Drittel von seinen eigenen Antworten von vor zwei Monaten ab. Das ist ein deutliches Zeichen, dass sich hinter demselben Modellnamen still etwas verändert hatte.
Wo der Person-Fit versagt, greifen zwei weitere Tests, der Vergleich mit früheren Fähigkeitswerten und der Abgleich konkreter Antworten.Die Autoren plädieren dafür, KI-Sicherheitstests ähnlich strengen Standards zu unterwerfen wie psychologische Tests bei Menschen. Ein einzelner Testwert allein tauge nicht als Grundlage für die Entscheidung, ein Modell freizugeben. Als Einschränkung nennen sie, dass das Sandbagging in der Studie nur per Anweisung simuliert wurde. Ein Modell, das gezielt darauf trainiert wäre, Tests zu umgehen, dürfte deutlich schwerer zu entlarven sein.
Ein bekanntes Muster in aktuellen Modellen
Die Frage, ob Sicherheitsbenchmarks überhaupt messen, was sie versprechen, beschäftigt die Forschung schon länger. Eine Metastudie über 445 KI-Benchmarks fand in fast allen Schwächen bei Definitionen, Aufgabenwahl oder statistischer Auswertung. Wie sich der jetzt beschriebene Zielkonflikt zwischen Verweigerung und Nützlichkeit in der Praxis auswirkt, zeigte der Fall von Anthropics Claude Fable 5. Ein medizinischer Physiker hielt das Modell für unbrauchbar, weil es MRT-Segmentierung als Bioterrorismus einstufte und Fragen zur Malaria-Übertragung blockierte. Nach der Freigabe durch die US-Regierung soll ein zusätzlicher Filter diese Lücke in über 99 Prozent der Fälle schließen, weist dafür aber häufiger harmlose Programmieraufgaben ab.
Auch dass Modelle Tests erkennen können, ist inzwischen belegt. Claude 3.5 Sonnet ordnete Prüfsituationen in 93 Prozent der Fälle korrekt als Test ein, ohne jeden Hinweis noch in 84 Prozent. Anthropics Opus 4.6 vermutete in zwei Aufgaben selbstständig, in einer Prüfung zu stecken, identifizierte den Test und besorgte sich dessen Lösungen. Parallel arbeiten Forscher an der Gegenrichtung, dem Wegtrainieren solcher Strategien.
