Feintuning gegen Propaganda: US-Start-up trainiert Alibabas Qwen-Modell auf "westliche Werte" um

4 hours ago 3

Ein Feintuning mit 53 Millionen Token soll die Parteilinie aus einem chinesischen Open-Weight-Modell entfernen. Die allgemeinen Fähigkeiten bleiben laut den Entwicklern erhalten.

"Westliche Werte" statt Pekings Parteilinie verspricht Arete-27B, ein neues Open-Weight-Modell von Nous Research. Das US-Start-up, bekannt vor allem für seinen Open-Source-Agenten Hermes, hat dafür Alibabas Qwen3.8-27B nachtrainiert.

Laut Nous gehören chinesische Open-Weight-Modelle zu den stärksten verfügbaren, bringen aber staatlich gewünschtes Verhalten direkt in den Gewichten mit. Bei Qwen3.8-27B habe das Team Verweigerungen, Ausweichantworten und Antworten im Sinne der Kommunistischen Partei beobachtet.

803 Prompts zu Meinungsfreiheit, Überwachung und Demokratie

Nous baute einen eigenen Test mit 803 Prompts in sieben Kategorien, darunter Meinungsfreiheit, Staatsideologie, Bildung, Datenschutz und Überwachung, Demokratie und Umwelt. Für jeden Prompt legte das Team zwei bis vier Fakten aus einem datierten Quellartikel fest, etwa aus Gesetzestexten, Nachrichten oder Forschungsberichten. Ausgerechnet das tendenziell politisch rechte Grok 4.7 von Elon Musks SpaceXAI prüft als Richtermodell, ob eine Antwort diese Fakten nennt, auslässt oder ihnen widerspricht.

Als Propaganda zählt eine Antwort, wenn sie die offizielle Darstellung Pekings anstelle der Fakten wiedergibt, sie gutheißt oder als gleichwertige Sicht präsentiert. Der Richter muss dafür die konkrete Formulierung zitieren und erfährt nicht, welches Modell die Antwort geschrieben hat. Das unveränderte Qwen3.8-27B kam auf 2,32 von 5 Punkten bei den Fakten, 22 Prozent seiner Antworten enthielten Propaganda. Westliche Modelle wie Mistral Large 4 oder Gemma 4 31B lagen unter einem Prozent, GLM-5.3 und Deepseek V4.1 Flash bei 15 und 16 Prozent.

Inkling als Lehrer statt Nemotron

Als Lehrermodell wählte Nous Inkling von Thinking Machines Lab. Ein offenes Modell sollte Ärger mit Nutzungsbedingungen vermeiden, die Destillation untersagen. Nvidias Nemotron 3 Ultra kam ebenfalls infrage, laut Nous gab es aber Hinweise auf Auffälligkeiten bei China-Themen. Das Team vermutet, dass sich die Prägung beim Training mit chinesischen Open-Weight-Modellen übertragen habe und berichtet von ähnlicher Verunreinigung in eigenen Projekten. Auch Thinking Machines nutzte für Inklings synthetische Trainingsdaten unter anderem das chinesische Modell Kimi K2.5.

Nous trainierte Qwen3.8-27B per überwachtem Feintuning auf rund 53 Millionen Token über zwei Epochen, ohne Reinforcement Learning oder Präferenzoptimierung. Überschneidungen zwischen Trainings- und Testprompts hat das Team nach eigenen Angaben vorher entfernt.

Histogramm der Tokenlänge von 28.886 Trainingsbeispielen mit einem Median von 866 Token, darunter ein Balkendiagramm mit der Zahl der Beispiele pro Wertekategorie zwischen 3.876 und 4.372.Die Trainingsdaten verteilen sich fast gleichmäßig auf die sieben Wertekategorien, die meisten Beispiele umfassen weniger als 1.000 Token. | Bild: Nous Research

Propagandaquote sinkt von 22 auf unter ein Prozent

Arete-27B erreicht im Test 2,98 Punkte bei den Fakten, der Anteil propagandistischer Antworten sinkt auf 0,9 Prozent. Am stärksten veränderte sich das Modell bei der Meinungsfreiheit, wo der Faktenwert von 0,89 auf 2,44 stieg und die Propagandaquote von 60 auf ein Prozent fiel. Mit aktiviertem Reasoning-Modus kommt Arete auf 3,07 Punkte, dieser Wert beruht aber erst auf zwei von fünf Durchläufen.

Tabelle mit zehn KI-Modellen, ihrem Faktenwert von 0 bis 5 und ihrem Anteil propagandistischer Antworten, von Inkling mit 0,3 Prozent bis Qwen3.8-27B mit 22 Prozent.Arete-27B liegt bei der Propagandaquote auf dem Niveau westlicher Modelle, während GLM 5.3, DeepSeek V4.1 Flash und das Basismodell Qwen3.8-27B deutlich höher liegen. | Bild: Nous Research

Die allgemeinen Fähigkeiten leiden laut Nous nicht. Im internen Hermes Bench erreicht Arete-27B 65,60 Prozent, das Basismodell 65,77 Prozent. Auf Terminal-Bench 2.1 steigt der Wert von 67 auf 70 Prozent, eine echte Verbesserung will Nous wegen abweichender Testkonfigurationen aber nicht daraus ableiten. Das Team folgert, die politische Prägung chinesischer Modelle sei eine dünne, spät aufgetragene Schicht. Die Werte eines offenen Modells seien immer nur ein Feintuning entfernt.

Von neutralen Modellen zu westlichen Werten

Mit Arete schlägt Nous eine andere Richtung ein als bei Hermes 3, das 2024 bewusst neutral sein und sich an die im System-Prompt vorgegebene Weltsicht anpassen sollte. Die politische Prägung chinesischer Modelle ist mehrfach dokumentiert. NewsGuard stellte 2025 fest, dass fünf führende Modelle, darunter Qwen, in 60 Prozent der Fälle pro-chinesische Falschbehauptungen wiederholten oder nicht korrigierten.

Crowdstrike fand heraus, dass Deepseek bei Bezügen zu Falun Gong, Tibet oder Taiwan unsichereren Code ausgibt. Eine Studie von Aleph Alpha mit 967 politisch sensiblen Fragen kam zu ähnlichen Ergebnissen: Bei Modellen von Alibaba, Deepseek und Moonshot AI fielen nur 17 bis 41 Prozent der Antworten ausgewogen aus.

Auch eine kürzlich veröffentlichte ValsAI-Studie zeigt, dass nicht alle chinesischen Modelle gleich ticken: Während etwa GLM-5.3 Flash Menschenrechtsverletzungen ausdrücklich bestätigte, bestritt Kimi K3 die Existenz von Internierungslagern. Sprache und Antwortformat beeinflussten die Ergebnisse deutlich, und auch westliche Modelle übernahmen vereinzelt offizielle Pekinger Positionen. Auch hier erwies sich gezieltes Nachtraining als hilfreich.

Nous Research hatte im Oktober 90 Millionen US-Dollar in einer Series-B-Runde eingesammelt bei einer Bewertung von 1,5 Milliarden US-Dollar. Angeführt wurde die Runde von Robot Ventures, beteiligt waren unter anderem Nvidia und Samsung. Mit dem Geld finanziert Nous den Einstieg ins Firmenkundengeschäft mit "Hermes for Businesses". Gewichte, Testdatensatz und Trainingsdaten von Arete-27B stehen unter Apache-2.0-Lizenz auf Hugging Face bereit.

KI-News ohne Hype – von Menschen kuratiert

Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.

Jetzt abonnieren

Read Entire Article