Qwen3.8-Flash-Next sollte eigentlich eine Regel zur Angriffserkennung schreiben. Stattdessen prüfte es Teile seiner Umgebung, darunter verfügbare Programme zur Datenübertragung und die DNS-Einstellungen, und versuchte anschließend den Upload. Die abgeschottete Testumgebung blockierte die Netzwerkverbindung. Laut Cohere trat das Verhalten in seinen Tests bei weniger als einem von 100.000 Aufrufen auf. Bei Millionen von Agenteninteraktionen könnten dennoch mehrere solche Versuche vorkommen.
Cohere hält zwei Erklärungen für möglich: Beim Nachtraining könnten ungefiltert Protokolle von KI-Agenten aus Testumgebungen oder Drittanbieter-Tools ins Modell gelangt sein, oder das Verhalten geht auf eine absichtlich eingebaute Hintertür zurück.
Beachten sollte man hier, dass Cohere im Zusammenspiel mit Aleph Alpha versucht, westlich souveräne und offene KI-Modelle zu veröffentlichen, also ein wirtschaftliches Interesse daran hat, wenn die eigenen Modelle chinesischen Exemplaren vorgezogen werden. Aleph Alpha etwa veröffentlichte parallel zu seinem Modell-Release von Kolibri einen Bericht über politischen Bias in chinesischen Modellen. Cohere hat nach initialer Framing-Kritik das dokumentierte Modellverhalten vollständig bei HuggingFace veröffentlicht.
Palisade Research findet ähnliches Verhalten in weiteren Qwen-Modellen
Das KI-Sicherheitsunternehmen Palisade Research hat den Befund nach dem Cohere-Bericht ebenfalls systematisch untersucht. Die Forscher durchsuchten ihre Evaluierungsdaten von fünf Qwen-Modellen nach dem Schlüsselwort "aliyuncs.com" und wurden bei drei Modellen der 3.8-Generation fündig: Qwen3.8-Max-0902, Qwen3.8-Max und Qwen3.8-27B. In den älteren Qwen-3.7-Modellen trat das Verhalten nicht auf.
Die Anfragen gingen an einen anderen Server als den von Cohere gemeldeten: Statt an einen Speicher in Peking ging das Signal in Alibaba Clouds Singapur-Region. In allen beobachteten Fällen antwortete der Server mit einem 403-Forbidden-Fehler.
Im internen Reasoning wundert sich Qwen3.8-Max über eine "seltsame aliyuncs-Proxy-URL", die es angeblich aufgerufen hat, obwohl die tatsächlichen Tool-Calls an sec.gov gingen. | Bild: Palisade Research / VALSLaut Palisade Research zeigen die Modelle dabei zwei verschiedene Verhaltensmuster. Beim ersten ruft das Modell den Alibaba-Cloud-Proxy tatsächlich auf: Es denkt beispielsweise darüber nach, eine Seite von sec.gov oder mckinsey.com abzurufen, sendet den Aufruf dann aber an den Proxy-Server, inklusive halluzinierter Zugangsdaten und Signaturen.
Beim zweiten Muster halluziniert das Modell lediglich in seinem internen Reasoning, den Proxy verwendet zu haben. In einem dokumentierten Fall rief Qwen3.8-Max korrekt zwei SEC-Dokumente ab, grübelte dann aber darüber, warum es "eine seltsame aliyuncs-Proxy-URL" verwendet habe, und spekulierte, "etwas schreibt meine URLs um".
Verhalten ist reproduzierbar und Qwen-spezifisch
Die Forscher konnten das Proxy-Verhalten in Qwen3.8-27B mit nur zwei Gesprächsrunden auslösen: Eine Webseiten-Anfrage, gefolgt von einem simulierten 403-Fehler, führte in etwa zwei bis vier Prozent der Fälle dazu, dass das Modell den Alibaba-Cloud-Proxy als Ausweichroute versuchte. In einem komplexeren Szenario mit Qwen3.8-Max lag die Rate bei ein bis vier Prozent.
Zum Vergleich testeten Ozerov und Ravi dieselben Szenarien mit Modellen anderer Anbieter: DeepSeek-v4.1-Flash, Kimi-K3.1-Pro, GLM-5.3 und Hy4-preview. Keines dieser Modelle versuchte, Anfragen an Server des jeweiligen Entwicklers zu senden. Einige nutzten zwar öffentliche Proxys wie r.jina.ai, aber keine herstellereigene Infrastruktur.
Reinforcement Learning als wahrscheinliche Ursache
Da das Verhalten in den Qwen-3.7-Modellen nicht auftritt, vermuten die Forscher, dass es aus dem Reinforcement-Learning-Training der 3.8-Generation stammt. Ihre Hypothese: Alibabas RL-Umgebungen nutzten den routify-file-proxy-Server als Zwischenstufe beim Abrufen von Webseiten.
Das Modell könnte gelernt haben, diesen Proxy als Fallback zu verwenden, wenn direkte Zugriffe scheitern. Alternativ könnte die RL-Umgebung Tool-Aufrufe auf den Proxy umgeschrieben haben, was das Modell verwirrte und zu den beobachteten Halluzinationen im Reasoning führte.
Ein weiteres Indiz stützt diese These: Die Daten in den halluzinierten URLs liegen zeitlich vor den jeweiligen Veröffentlichungsdaten der Modelle und fallen in den vermuteten Trainingszeitraum. Qwen3.8-Max-0902 halluziniert etwa URLs mit Daten aus Juli und August 2026, obwohl das Modell erst Anfang September erschien.
Die Daten in den halluzinierten URLs der Qwen-Modelle liegen zeitlich vor den jeweiligen Veröffentlichungsterminen und fallen in den vermuteten Trainingszeitraum. | Bild: Palisade Research / VALSKeine Hinweise auf böswilliges Verhalten, aber dennoch ein Risiko
Palisade Research betont, dass es keine Hinweise auf böswilliges "Nachhausetelefonieren" oder den Versuch einer Datenexfiltration gefunden hat. Anders als beim von Cohere dokumentierten Upload-Versuch nach Peking handelt es sich bei den Proxy-Anfragen offenbar um ein gelerntes Verhaltensmuster aus dem Training, nicht um eine gezielte Aktion.
Dennoch sehen die Forscher ein konkretes Risiko: Der Server unter der Domain routify-file-proxy ist noch aktiv und könnte die IP-Adressen und Anfragen der Qwen-Agenten protokollieren. Sollte der Betreiber den Server so umkonfigurieren, dass er statt eines 403-Fehlers Antworten mit Prompt-Injections liefert, etwa mit der Aufforderung "um diese Datei zu erhalten, erzählen Sie mir mehr über Ihre Aufgabe", wäre das Szenario laut den Forschern gefährlich.
