KI-Systeme verlieren bei Kontextkomprimierung systematisch Nutzeranweisungen

5 days ago 10

Wenn KI-Systeme ihren Kontext zusammenfassen, gehen dabei systematisch Nutzerbedingungen verloren. Im Schnitt überleben nur 17 Prozent der Anweisungen die Komprimierung. Eine Vorsortierung mit einem kleinen LLM kann das Problem deutlich abschwächen.

Das Kontextfenster von KI-Modellen wird zum Flaschenhals, wenn Nutzer lange Konversationen führen, ohne einen neuen Chat zu starten. Warum man aus Qualitätsgründen auf die Kontextpflege achten sollte, beschreiben wir in unserem Context-Engineering-Guide. KI-Anbieter haben für das Problem eine Kontextkomprimierung entwickelt, die sogenannte "Compaction", die den bestehenden Gesprächsverlauf zusammenfasst. Dabei gehen zwangsläufig Details verloren.

Welche Details das sind und wie gravierend der Verlust ausfällt, haben Forscherinnen und Forscher der Pennsylvania State University nun systematisch untersucht.

Einschränkungen gehen am stärksten verloren

Besonders auffällig ist der Verlust einer bestimmten Klasse von Nutzeranweisungen, die die Forscher "Session Constraints" nennen. Damit sind Anweisungen gemeint, die das Verhalten des KI-Systems für die Dauer einer Sitzung einschränken sollen, etwa "Bestätige mit mir, bevor du etwas änderst" oder "Verwende nie meinen Namen in deinen Antworten". Diese Bedingungen sind weder Teil der eigentlichen Aufgabe noch dauerhafte Systemanweisungen. Sie gelten nur für die laufende Sitzung.

Das macht sie fragil: Komprimierungssysteme sind auf Aufgabenkontinuität optimiert. Sie bewahren das Ziel, den Arbeitsstand und die nächsten Schritte. Nebenbedingungen des Nutzers fallen dabei systematisch unter den Tisch.

Das Ergebnis: Der Agent arbeitet weiter, als hätte der Nutzer die Bedingung nie gestellt. Wer also sagt "Schick keine E-Mails ohne meine Zustimmung", muss damit rechnen, dass der Agent nach einer Komprimierung genau das tut.

Das ist ein Qualitäts- und Cybersecurityproblem: Wenn Komprimierung Session Constraints fallen lässt, können Agenten Aktionen ausführen, die der Nutzer zuvor explizit verboten hat: unautorisierte Tool-Calls, die Preisgabe zurückgehaltener Informationen oder die Umgehung von Verifikationsschritten.

Der Nutzer weist den Agenten an, vor jeder Aktion eine Bestätigung einzuholen (A). Bei der Komprimierung geht diese Bedingung verloren (B), und der Agent ändert einen Kalendereintrag eigenmächtig (C). | Bild: Wang et al. (2026)

Um den Verlust zu quantifizieren, stellen die Forscher die Evaluierungssuite COMPINT vor. Nur 17 Prozent der injizierten Session Constraints überleben die Komprimierung im Durchschnitt. Die meisten der getesteten Kompaktor-Konfigurationen schneiden sogar schlechter ab als der Betrieb ganz ohne Komprimierung, wobei GPT-5.4-mini als Ausnahme in einigen Szenarien die Baseline übertrifft.

Wenn der Agent den vollen, unkomprimierten Kontext mit der Nutzerbedingung erhält, liegt die Einhaltung der Regeln laut der Studie bei 59 bis 71 Prozent. Nach Komprimierung sinkt die Compliance bei den meisten getesteten Kompaktoren deutlich und liegt häufig nur begrenzt über dem Niveau ohne Nutzerbedingung. Gezieltere Komprimierungs-Prompts helfen zwar, schließen die Lücke aber nicht: Selbst ein eigens auf die Bewahrung von Nutzerbedingungen angepasster Prompt bleibt laut den Forschern bei der Retention unter 40 Prozent.

Kleines Sprachmodell als Plug-and-Play-Lösung

Wirksamer ist ein anderer Ansatz: Die Forscher schlagen ein kleines Zusatzmodul vor, das parallel zum eigentlichen Komprimierungssystem mitläuft. Es basiert auf dem kompakten Sprachmodell Qwen3.5-9B und liest bei jeder Nutzereingabe mit, um Session Constraints zu erkennen und in einer eigenen Liste zu sammeln. Wird der Kontext später zusammengefasst, hängt das Modul diese Liste an die Zusammenfassung an, sodass die Nutzerbedingungen erhalten bleiben.

Der Extraktor erreicht laut der Studie über 90 Prozent Erhalt über alle drei getesteten Szenarien: 95,6 Prozent bei Agenten-Trajektorien, 95,1 Prozent bei Langzeit-Forschungsaufgaben und 90,3 Prozent bei Multi-Turn-Chats. Er benötigt kein Training und keine Modifikation des eigentlichen Komprimierungssystems.

Die Evaluierungssuite COMPINT und der Extraktor sind auf GitHub verfügbar.

Read Entire Article