METRs "Expenditure Horizon" berechnet, ab wann menschliche Entwickler wirtschaftlicher sind als KI

Die Forschungsorganisation METR schlägt dafür eine neue Kennzahl vor: den "Expenditure Horizon", frei übersetzt die Ausgaben-Grenze. METR vergleicht, wie viel eine KI und wie viel ein Mensch für dieselbe Verbesserung ausgeben müssen. Der "Expenditure Horizon" ist der Punkt, an dem beide gleich teuer sind. Bis zu diesem Budget lohnt sich die KI, darüber hinaus arbeitet der Mensch günstiger.

Die grüne Linie steht für die Erträge menschlicher Arbeit, die rote Kurve für die eines KI-Agenten. Der Schnittpunkt ist der "Expenditure Horizon". | Bild: METR

Dahinter steckt eine Beobachtung aus bisherigen Tests: KI-Agenten lösen einfache, günstige Aufgaben oft schneller als Menschen. Je größer das Budget und je anspruchsvoller die Aufgabe wird, desto stärker fallen sie aber zurück.

Gegenüber üblichen KI-Tests hat die Methode laut METR zwei Vorteile. Erstens liefert sie kein simples Bestanden-oder-nicht-Urteil, sondern einen fein abgestuften Wert, der zeigt, wie viel Verbesserung für wie viel Geld herausspringt. Zweitens rechnet sie alle Kosten in eine einzige Währung um, also nicht nur den Betrieb der KI, sondern auch die teure Rechenzeit für Experimente und die menschliche Arbeitszeit.

Ein Mensch braucht rund 2.500 Dollar für ein Prozent mehr Tempo

Als Testfeld nutzt METR den NanoGPT-Speedrun. Das ist ein öffentliches Gemeinschaftsprojekt, bei dem Freiwillige darum wetteifern, ein KI-Sprachmodell möglichst schnell zu trainieren. Die Aufgabe ist immer gleich, verbessert werden darf nur der Trainingsweg. Seit Mai 2024 sank die nötige Trainingszeit auf standardisierter Hardware von rund 45 Minuten auf unter zwei Minuten, erreicht in 82 dokumentierten Verbesserungsschritten.

Die Entwicklung des NanoGPT-Speedruns: 82 Verbesserungsschritte brachten insgesamt einen Geschwindigkeitsgewinn um das 33-Fache. | Bild: METR

Um herauszufinden, was menschliche Arbeit kostet, befragte METR zwei besonders aktive Teilnehmer und ließ zusätzlich ein KI-Modell (Opus-4.6) den Aufwand hinter jeder Verbesserung schätzen. Beide Wege kommen auf ungefähr 16 Arbeitsstunden für jeweils ein Prozent mehr Tempo. Bei einem angenommenen Stundenlohn von 150 Dollar sind das rund 2.500 Dollar pro Prozentpunkt.

METR betont, dass diese Zahl sehr unsicher ist. Interessant ist ein Detail aus den Interviews: Die meiste Zeit floss in Ideen, die am Ende nicht funktionierten. Ein Teilnehmer brachte es auf den Punkt: "Der Engpass waren Ideen, nicht Rechenleistung."

KI-Agenten liefern bislang nur kleine Beiträge

Für den Vergleich ließ METR sechs KI-Modelle dieselbe Aufgabe eigenständig bearbeiten. Sie begannen nicht bei null, sondern an einem bereits weit optimierten Stand des Speedruns (Record #78 vom März 2026), und durften pro Durchlauf bis zu 10.000 Dollar an Rechen- und Betriebskosten verbrauchen.  Das Ergebnis: geschätzte Expenditure Horizons zwischen 0 und 3.300 Dollar.

Die Kurven der KI-Modelle im Vergleich zur menschlichen Arbeit (Schnittpunkt bei rund 2.500 Dollar pro Prozent). Nur GPT-5.5 und Opus-4.8 erreichen nennenswerte Ausgaben-Grenzen. | Bild: METR

Dabei zeigten sich große Unterschiede. GPT-5 und Opus-4.1 erzielten nach genauer Nachprüfung überhaupt keinen echten Fortschritt. Ihre scheinbaren Erfolge entpuppten sich als Zufallsschwankungen. GPT-5.5 und Opus-4.8 hingegen brachten es auf reale Verbesserungen von etwa 1 beziehungsweise 1,5 Prozent.

Die Qualität der KI-Ideen ist durchwachsen: Der Betreuer des Speedruns schätzt, dass sich rund 70 Prozent davon grundsätzlich in das Projekt einbauen ließen, viele davon aber wenig originell seien. Eine clevere, systemnahe Verbesserung von GPT-5.5 lobte er als "coolest one", der Großteil sei jedoch bloßes Herumschrauben an Einstellungen. Mehrfach versuchten die Modelle zudem zu tricksen: Sie nahmen Abkürzungen, die im Test zwar ein gutes Ergebnis vortäuschten, in der Praxis aber nutzlos wären, etwa indem sie Teile des Trainings kurz vor dem Ziel einfach abschalteten.

Das Fazit von METR fällt nüchtern aus: Obwohl einzelne Modelle Expenditure Horizons im vierstelligen Bereich erreichen, sind diese Werte klein gegenüber dem gesamten menschlichen Arbeitsaufwand von geschätzt 250.000 Dollar. Autonome Optimierung hat den NanoGPT-Fortschritt bislang also nur minimal beeinflusst.

Warum die neueste KI-Generation das Bild verschieben könnte

Wichtig zur Einordnung: METR testete nur ältere Modelle (GPT-5, GPT-5.2, GPT-5.5 sowie Opus-4.1 und Opus-4.8). Die seitdem erschienenen Modelle Fable 5, GPT-5.6 Sol und Opus 5 kommen im Papier nicht vor. Anthropic bewirbt Opus 5 als deutlichen Sprung: Auf dem Test Frontier-Bench verdoppelt es die Leistung von Opus 4.8 bei geringeren Kosten pro Aufgabe. Laut Hersteller verschwendet Opus 5 weniger Aufwand auf Sackgassen, überprüft die eigene Arbeit zuverlässiger und kommt bei ähnlicher Leistung mit durchschnittlich 26 Prozent weniger Rechenschritten aus. Das sind Punkte, die METRs Expenditure Horizon direkt betreffen.

Noch deutlicher zeigt sich der Fortschritt bei ARC-AGI-3, einem Test, der nicht auswendig gelerntes Wissen prüft, sondern echtes Problemlösen: Die KI wird in unbekannte, spielähnliche Umgebungen gesetzt, ganz ohne Anleitung oder Zielvorgabe, und muss alles durch Ausprobieren selbst herausfinden. Hier ist Opus 5 seit dem 24. Juli 2026 mit 30,2 Prozent das stärkste Modell und löste fünf Aufgaben, an denen zuvor jedes Modell gescheitert war, das Vorgängermodell Opus 4.8 kam nur auf 1,5 Prozent. Das ARC-Prize-Team erklärt den Sprung mit besserem logischen Denken, das der KI mehr eigenständiges Erkunden und Planen erlaube. Auch das könnte sich als hilfreich im NanoGPT-Speedrun erweisen.

Was die Studie nicht erfasst: den gemischten Betrieb aus Mensch und KI

Die vielleicht wichtigste Einschränkung benennt METR selbst: Die gesamte Studie misst ausschließlich die KI im Alleingang, also autonome Optimierung. In der realen KI-Forschung arbeiten Menschen aber meist mit KI als Werkzeug. METR skizziert dafür eine dritte, hypothetische Kurve. Treffen Menschen kluge Entscheidungen darüber, wann und wie sie die KI einsetzen, sollte diese Hybrid-Kurve theoretisch sowohl die reine Menschen- als auch die reine KI-Kurve übertreffen, weil sie die Stärken beider kombiniert.

Die hypothetische Hybrid-Kurve (blau): Setzen Menschen die KI klug ein, sollte sie theoretisch sowohl die reine Menschen- als auch die reine KI-Kurve übertreffen. | Bild: METR

METR relativiert das aber ausdrücklich und verweist auf eigene frühere Arbeiten, in denen Mensch plus KI in bestimmten Konstellationen schlechter abschnitt als der Mensch allein. Der Zusatznutzen ist also nicht garantiert, sondern hängt davon ab, ob die KI an den richtigen Stellen eingesetzt wird. Sauber messen ließe sich das nur mit einem kontrollierten Experiment, das dieselben Forschenden einmal mit und einmal ohne KI-Unterstützung vergleicht. Ein solches Experiment sei schwer zu organisieren, wäre laut METR aber äußerst aufschlussreich. Solange es fehlt, sagt die Ausgaben-Grenze also viel darüber aus, was KI allein leistet, aber wenig darüber, wie stark sie menschliche Forscher tatsächlich beschleunigt.