Ein neues Paper zeigt, wie sich feste Sicherheitskategorien durch einfache Ja-oder-Nein-Frage ersetzen lassen. Betreiber können damit selbst festlegen, was ein Klassifikator prüfen soll, ohne ihn neu zu trainieren.
Das 3-Milliarden-Parameter-Modell Shieldstral vom französischen KI-Unternehmen Mistral erreicht laut einem neuen Paper auf gängigen Sicherheitsbenchmarks für Text die Leistung von dreimal größeren Modellen. Bei der gleichzeitigen Klassifikation von Text und Bild setzt es nach eigenen Angaben einen neuen Bestwert.
Ja oder Nein statt fester Kategorien
Viele bestehende Schutzmodelle arbeiten mit festen Kategoriensystemen und ordnen Inhalte vorgegebenen Klassen zu. Die Autoren, darunter Mistral-Mitgründer Guillaume Lample, sehen darin zwei Schwächen: Öffentliche Sicherheitsdatensätze seien in ihren Kategorien zu unterschiedlich für ein einheitliches System. Zudem passten sich feste Kategorien nicht an den jeweiligen Einsatzzweck an. Inhalte, die für ein Cybersicherheitstool angemessen seien, könnten auf einer Plattform für psychische Gesundheit problematisch sein.
Betreiber formulieren die Prüfkriterien als Freitext, Shieldstral antwortet mit einem einzigen Token, aus dem sich ein Sicherheits-Score zwischen null und eins ergibt. | Bild: MistralShieldstral vereinfacht die Inhaltsprüfung auf eine Ja-oder-Nein-Frage. Betreiber formulieren dazu in natürlicher Sprache, was geprüft werden soll, etwa "Fördert dieser Inhalt Gewalt?". Das Modell antwortet nur mit "yes" oder "no". Aus den Wahrscheinlichkeiten beider Antworten errechnet das System einen Sicherheitswert zwischen null und eins.
54 Millionen Trainingsbeispiele aus unterschiedlichen Quellen
Die Forscher führten rund 54,1 Millionen Beispiele aus verschiedenen Datensätzen zu Sicherheit, schädlichen Inhalten und Manipulationsversuchen in einem einheitlichen Format zusammen. Für jeden Quelldatensatz legten sie eine eigene Bewertungsstufe fest: Strenge Maßstäbe galten für gezielte Manipulationsversuche, mittlere für allgemeine Sicherheitsdaten und milde für die Bewertung der Antwortqualität.
Jedes Trainingsbeispiel besteht aus Aufgabenrahmen, konkreter Ja/Nein-Frage und dem zu bewertenden Inhalt, die Antwort ist ein einzelner Token. | Bild: MistralUm dem Modell feinere Unterscheidungen beizubringen, ließen die Forscher ein anderes Sprachmodell sichere Texte gezielt in unsichere Varianten umschreiben. Zu jedem Beispiel wurde zusätzlich eine ähnliche, aber andere Kategorie mitgeliefert, die im Ergebnis ausdrücklich nicht zutreffen durfte. So lernte Shieldstral, zwischen eng verwandten Regeln zu unterscheiden, statt nur grob zwischen sicher und unsicher zu trennen.
Um zu prüfen, wie gut das Modell mit abweichenden Vorgaben umgeht, entwarfen die Autoren die Testkategorien unabhängig von den Trainingskategorien, mit anderen Namen und einer anderen Abstufung. Keine der feinstufigen Testkategorien entspricht einer Trainingskategorie direkt. Zehn von zwölf übergeordneten Klassen haben laut Paper allerdings ungefähre Gegenstücke.
Gleichauf mit deutlich größeren Modellen
Auf den kombinierten Textbenchmarks erreicht Shieldstral laut Paper einen F1-Wert von 84,9 Prozent. Der Wert fasst Treffsicherheit und Vollständigkeit eines Klassifikators zusammen. 100 Prozent wären perfekt. Damit liegt Shieldstral gleichauf mit dem etwa siebenmal größeren GPT-OSS-Safeguard-20B von OpenAI und vor Qwen3Guard-8B (84,0), Nemotron-3.5-Safety-4B (83,3) und LlamaGuard-4-12B (69,1). Bei Bildern und Bild-Text-Kombinationen kommt das Modell auf 83,8 Prozent und übertrifft OmniGuard-7B (77,6) sowie LlavaGuard-7B (71,6).
Über alle Text-Benchmarks gemittelt zieht das 3B-Modell mit dem rund siebenmal größeren Modell von OpenAI gleich. | Bild: MistralWeniger eindeutig ist das Ergebnis beim Anpassungsbenchmark, der Regeln verwendet, die von den Trainingskategorien abweichen oder völlig neu sind. Hier führt GPT-OSS-Safeguard-20B mit 94,1 Prozent vor Shieldstral (91,3). Die Autoren halten ihr Modell dennoch für praktikabler als GPT-OSS-Safeguard-20B und Nemotron-3.5-Safety, weil beide vor der Antwort lange Zwischenschritte erzeugen und damit die Rechenkosten deutlich erhöhen. Shieldstral gibt dagegen nur ein einziges Wort aus.
Bei Policies, die im Training nie vorkamen, liegt Shieldstral knapp hinter den beiden Modellen, die vor der Antwort eine Reasoning-Kette erzeugen. | Bild: MistralShieldstral basiert auf Mistrals Ministral-3B mit dem Pixtral-Bilderkenner. In einem Testlauf auf dem Validierungsset für feinstufige Kategorien erhöhten die künstlich erzeugten Kategoriedaten den F1-Wert um 23,3 Prozentpunkte und leisteten damit den entscheidenden Beitrag zur Anpassungsfähigkeit.
Shieldstral ist ab sofort als Open-Weights-Modell unter Apache-2.0-Lizenz verfügbar.
Sicher ist sicher
Sicherheitsklassifikatoren sind eine Prüfschicht, die vor und nach dem eigentlichen Sprachmodell sitzt. Sie kontrolliert Ein- und Ausgaben, statt das gewünschte Verhalten direkt ins Modell zu trainieren. Der Vorteil ist, dass sich Regeln ändern lassen, ohne neu zu trainieren. Allerdings läuft die Prüfung bei jeder Anfrage, weshalb Größe, Geschwindigkeit und Kosten des Klassifikators eine Rolle spielen.
Wie folgenreich schlecht eingestellte Filter sein können, zeigte zuletzt Anthropics Claude Fable 5. Laut Artificial Analysis wurden acht bis neun Prozent der Aufgaben automatisch an ein schwächeres Modell umgeleitet. Ein Medizinphysiker bezeichnete das Modell als unbrauchbar, weil er das Wort "nuclear" häufig verwendet.
Andere Nutzer berichteten, dass die Auswertung von MRT-Bildern als Bioterrorismus eingestuft wurde. Nach einem Sicherheitsfund verschärfte Anthropic den Filter weiter, der seither laut eigenen Angaben auch häufiger harmlose Programmieraufgaben blockiert.
Genau hier setzt Shieldstrals Kernargument an: Wenn Betreiber die Prüfkriterien zur Laufzeit selbst formulieren können, lässt sich ein Filter für die eigene Anwendung einstellen, statt einem fremden Kategoriensystem ausgeliefert zu sein.
Der Einsatzbereich reicht weit über den Schutz vor Missbrauch hinaus. OpenAI nutzt Klassifikatoren zur automatischen Alterserkennung in ChatGPT und leitet emotionale Anfragen über einen Sicherheitsfilter an strengere Modelle weiter.
In Claude Code blockiert ein Klassifikator externe Skripte, Produktionsbereitstellungen und erzwungene Code-Übertragungen. Auch Anthropics Fable-5-Prüfung verlangt, dass Eingaben und Ausgaben bis zu 30 Tage, bei Regelverstößen bis zu zwei Jahre gespeichert werden.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
