Mehr Agenten, wenig Mehrwert: KI-Agentenschwärme kosten mehr und bringen kaum bessere Ergebnisse

KI-Agenten-Teams liefern laut einer Analyse von Vals AI kaum bessere Ergebnisse als einzelne Agenten.

Das Unternehmen testete GPT-6 Sol und Claude Opus 5.5 auf dem "Vibe Code Bench", jeweils allein und als Team, bei zwei Reasoning-Stufen: mittlerem und maximalem Reasoning-Aufwand. Die Teams kosteten zwischen 1,8- und 5,1-mal mehr als einzelne Agenten.

Von vier Vergleichen zwischen Team und Einzelagent zeigte nur einer eine statistisch nachweisbare Verbesserung: GPT-6 Sol bei mittlerer Reasoning-Stufe, das als Team 7,3 Punkte mehr erzielte. Bei maximaler Reasoning-Stufe brachte die Teamkonfiguration weder für Sol noch für Opus 5.5 einen relevanten Vorteil. Die Ergebnisse deuten darauf hin, dass sich der Mehraufwand für Agenten-Teams in den meisten Fällen nicht lohnt, besonders dann nicht, wenn die Modelle bereits mit voller Rechenleistung arbeiten.

Vals AI

Anthropic beobachtete in zwei eigenen Tests mit Opus 5.5 abnehmende Qualitätsgewinne durch zusätzliche Agenten: Größere Teams erreichten ein bestimmtes Leistungsniveau schneller, doch von zehn auf 100 Agenten stiegen die Scores nach 24 Stunden nur noch geringfügig. In separaten ProgramBench-Tests gingen Geschwindigkeitsvorteile mit höherem Tokenverbrauch einher.

Fable 5.1 zeigte bei der Lean-Beweisaufgabe oberhalb von zehn Agenten deutlich stärkere Qualitätszuwächse, blieb aber in allen Tests insgesamt unter dem Niveau von Opus 5.5. Bei der Wissensbasis-Aufgabe fiel Fables Score von 30 auf 100 Agenten sogar leicht.

OpenAI-Entwickler Eric Provencher warnte kürzlich aus genau diesem Grund davor, Agentenschwärme einzusetzen: Sie seien mit hoher Wahrscheinlichkeit verschwendetes Geld, weil die Koordination untereinander nicht klappt. Er nennt das die Koordinationssteuer.

Mehr Geschwindigkeit, aber nicht unbedingt mehr Qualität

OpenAI-Forscher Noam Brown bestätigte im Dwarkesh Podcast, dass Multi-Agenten-Systeme vor allem Geschwindigkeit bringen, nicht unbedingt bessere Qualität. Vier Agenten lösten Aufgaben doppelt so schnell, kosteten dafür aber auch doppelt so viel. Bei 16 Agenten setze sich das Muster fort, werde aber leicht ineffizienter.

Der Effekt hänge stark von der Aufgabe ab: Webrecherche und Mathematik seien gut parallelisierbar, das Schreiben eines Romans dagegen kaum. 10.000 Agenten an einem Roman brächten genauso wenig wie 10.000 Menschen. Brown räumte ein, dass die Skalierung auf sehr viele Agenten bisher kaum erforscht sei, weil die Kosten dafür schlicht zu hoch seien.