Google gibt KI-Agenten ein eigenes Wiki, damit sie aus Fehlern und Erfolgen lernen

54 minutes ago 1

Die KI lernt also nicht kontinuierlich im eigentlichen Sinne, ein nach wie vor ungelöstes Problem, aber sie schreibt sich bei jedem Durchlauf bessere Anleitungen, auf die sie beim nächsten Versuch zugreifen kann. Elegant ist das nicht und wohl fehleranfälliger als echtes Lernen, aber ein effektiver Workaround, wie die Studie zeigt.

Die Arbeit ist inspiriert von einer Perspektive Andrej Karpathys zum Thema "LLM Wiki", die dafür plädiert, Erfahrung in persistentes, kumulierendes Wissen zu kompilieren. WikiSkill überträgt diese Idee auf die automatische Skill-Entwicklung für KI-Agenten.

Drei Schichten trennen Erfahrung, Wissen und Handlungsanweisungen

WikiSkill organisiert den Arbeitsbereich eines KI-Agenten in drei Ebenen. Der "Raw Layer" speichert die vollständigen Ausführungsprotokolle, also jeden Schritt, jede Werkzeugnutzung und jedes Ergebnis. Diese Daten sind unveränderlich und dienen als Rohmaterial.

Darüber liegt der "Wiki Layer": Hier werden aus den Rohdaten strukturierte Erkenntnisse destilliert, etwa dokumentierte Fehlermuster, erfolgreiche Strategien und ein chronologisches Evolutionsprotokoll. Diese Wissensschicht wird laut den Forschern nie zurückgesetzt, sondern wächst mit jeder Iteration.

Die oberste Ebene, der "Skill Layer", enthält die aktiven prozeduralen Anweisungen für die Aufgabenausführung. Im Gegensatz zum Wiki können Skills zurückgesetzt werden, wenn ein Update die Leistung verschlechtert.

Ausführen, Analysieren, Vorschlagen und Prüfen

In jeder Iteration durchläuft WikiSkill vier Schritte. Zunächst führt ein Inference-Agent Aufgaben mit den aktuellen Skills aus und erzeugt Ausführungsprotokolle. Dann analysiert ein "Wiki Maintainer" diese Protokolle, identifiziert Fehlermuster und erfolgreiche Strategien und schreibt die Erkenntnisse ins Wiki.

Anschließend nutzt ein "Skill Proposer" das aktualisierte Wiki und die Ausführungsdaten, um gezielte Skill-Änderungen vorzuschlagen. Zuletzt prüft ein Gating-Mechanismus auf einem separaten Validierungsdatensatz, ob die Änderung tatsächlich hilft. Wenn nicht, wird der Skill zurückgesetzt, das Wiki bleibt jedoch erhalten.

So gehen selbst gescheiterte Vorschläge nicht verloren: Das Wiki dokumentiert, was versucht wurde und warum es scheiterte, sodass der Skill‑Proposer in späteren Iterationen darauf aufbauen kann.

Größere Modelle profitieren stärker, kleinere holen auf

Die Forscher haben WikiSkill über fünf Benchmarks hinweg getestet, darunter mathematisches Schlussfolgern, Websuche, Tabellenmanipulation, Dokumenten-Frage-Antwort und interaktive Aufgaben in einer virtuellen Umgebung. Als Modelle kamen Qwen (4B, 9B, 27B), Gemma-4-31B und Gemini-3.5-Flash zum Einsatz.

WikiSkill übertrifft laut der Studie alle bisherigen Skill-Evolution-Methoden konsistent. Im Durchschnitt verbessert das Framework die Leistung von Gemini-3.5-Flash von 49,5 Prozent auf 68,1 Prozent und die von Qwen-3.6-27B von 39,4 Prozent auf 63,3 Prozent. Auf einzelnen Benchmarks fallen die Sprünge noch deutlicher aus: Gemini-3.5-Flash steigt auf LiveMath von 33,0 Prozent auf 72,6 Prozent, auf SpreadSheet von 50,5 Prozent auf 76,6 Prozent.

Größere Modelle profitieren tendenziell stärker von evolvierten Skills. Dafür können kleinere Modelle mit WikiSkill auf die Leistungsfähigkeit größerer Modelle ohne das Framework aufschließen. Skills, die ein Modell entwickelt hat, funktionieren häufig auch bei einem anderen, manchmal sogar besser als selbst entwickelte.

Allerdings variieren die Zugewinne je nach Aufgabentyp erheblich. Mathematische Aufgaben und Tabellenmanipulation profitieren am stärksten, während Aufgaben mit langen Dokumentenkontexten (OfficeQA) deutlich geringere Verbesserungen zeigen. Kleinere Modelle wie Qwen-3.5-4B scheitern dort laut den Forschern daran, die evolvierten mehrstufigen Suchstrategien über lange Kontexte hinweg zuverlässig auszuführen, und fallen auf ihr Standardverhalten zurück. Auch beim Transfer zwischen Modellen gibt es Fälle negativer Übertragung, sodass die Übertragbarkeit wohl im Einzelfall je nach Modell und Aufgabe geprüft werden sollte.

Model Method LiveMath SealQA SpreadSheet OfficeQA ALFWorld Avg.

Qwen-3.5-4B	No skill	29.1	32.5	14.6	30.2	24.4	26.2
	Trace2Skill	31.5	37.6	17.5	31.0	42.8	32.1
	EvoSkill	41.7	37.3	18.6	29.5	41.5	33.7
	SkillOpt	48.7	33.3	14.0	34.5	45.3	35.2
	WikiSkill	49.7	39.4	21.1	28.5	53.7	38.5
Qwen-3.5-9B	No skill	28.2	26.3	24.3	35.9	34.7	29.9
	Trace2Skill	33.1	36.9	26.5	38.4	48.8	36.7
	EvoSkill	58.1	34.5	35.4	34.9	48.5	42.3
	SkillOpt	48.7	29.4	29.0	38.0	55.7	40.2
	WikiSkill	56.3	43.1	33.6	40.5	63.4	47.4
Qwen-3.6-27B	No skill	33.9	27.5	40.8	42.1	52.8	39.4
	Trace2Skill	36.3	37.3	53.3	54.3	55.5	47.3
	EvoSkill	57.3	32.9	59.5	52.5	64.2	53.3
	SkillOpt	51.9	34.5	53.2	54.8	59.2	50.7
	WikiSkill	61.9	41.6	81.7	53.7	77.6	63.3
Gemma-4-31B	No skill	33.9	30.6	48.3	43.3	50.4	41.3
	Trace2Skill	32.3	37.7	58.5	43.2	57.2	45.8
	EvoSkill	29.8	38.4	56.4	39.9	52.6	43.4
	SkillOpt	40.1	36.1	63.1	44.4	61.9	49.1
	WikiSkill	56.7	41.2	68.0	44.2	64.4	54.9
Gemini-3.5-Flash	No skill	33.0	29.4	50.5	48.6	85.9	49.5
	Trace2Skill	41.9	44.3	56.0	50.0	85.9	55.6
	EvoSkill	44.6	43.6	55.4	51.2	85.9	56.1
	SkillOpt	49.7	28.2	66.1	49.8	85.9	55.9
	WikiSkill	72.6	44.7	76.6	60.7	85.9	68.1

Tabelle: WikiSkill (hervorgehoben) erzielt in den meisten Modell-Benchmark-Kombinationen die beste oder statistisch gleichwertige Leistung. Fettdruck kennzeichnet Bestwerte; mehrere fett gedruckte Werte pro Spalte sind statistisch nicht signifikant verschieden. Alle Werte sind Durchschnitte über drei unabhängige Durchläufe.

Read Entire Article