CloudOpsBench ist ein neuer Open-Source-Benchmark, der misst, wie gut KI-Agenten typische DevOps-Aufgaben in der Cloud bewältigen: Dienste reparieren, Ressourcen entfernen, Zugriffsrechte einschränken, Updates ausrollen oder Projekte stilllegen. Version 1.0 umfasst 45 Aufgaben auf AWS und wurde von erfahrenen DevOps-Ingenieuren entwickelt.
Selbst die besten Modelle scheitern an vielen Aufgaben: Claude Fable 5.1 löste 60 Prozent, GPT-6 Astra 53 Prozent. Laut dem Team um Ang Chen von der University of Michigan liegt das Hauptproblem nicht im fehlenden Wissen der Agenten, sondern im logischen Denken: Rund 80 Prozent der Fehler entstehen, weil Agenten den Umfang einer Aufgabe falsch einschätzen, nicht alle relevanten Dienste prüfen oder zu früh aufhören. Etwa 20 Prozent der Fehler sind falsche Aktionen mit teils irreversiblen Folgen für die Infrastruktur.
Kein Modell schafft alle Aufgabe und in den meisten Fällen liegt es am Reasoning.Die Aufgaben laufen identisch in der echten AWS-Cloud und in einem Emulator. Erweiterungen für GCP, Azure und OCI sind geplant. Das Projekt auf GitHub steht unter Apache-2.0-Lizenz, eine detaillierte Fehleranalyse ist ebenfalls verfügbar.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
