George Hotz: KI-Agenten in der Softwareentwicklung werden einer der teuersten Fehler der Branche

1 week ago 8

Der bekannte Programmierer und Hacker George Hotz warnt, dass KI-Agenten in der Softwareentwicklung mehr schaden als nutzen. Er sei jetzt im "LeCun/Marcus camp": Die beiden KI-Forscher Yann LeCun und Gary Marcus bezweifeln, dass LLMs jemals wirklich intelligent werden können.

In seinem Blogpost "The Eternal Sloptember" argumentiert er, dass der Einsatz von KI-Agenten in der Softwareentwicklung einer der teuersten Fehler der Branche werden wird. Er habe sechs Monate lang verschiedene Modelle und Werkzeuge getestet, unter anderem bei der Arbeit an tinygrad. Sein Fazit: KI liefere schnelle Prototypen, scheitere aber an der Feinarbeit.

Besonders große Organisationen seien gefährdet, da schwächere Entwickler die fehlerhafte Ausgabe nicht erkennen. Hotz glaubt, dass heutige Sprachmodelle nie wirklich programmieren können werden und stattdessen Weltmodelle nötig seien. LLMs seien "hochentwickelte statistische Modelle", die darauf ausgelegt seien, "die Verteilung von Programmierung nachzuahmen".

Die Ausgabe sei fehlerhaft, aber auf eine Weise, die immer schwerer zu erkennen sei, genau das, was man von einem immer genaueren statistischen Modell erwarten würde. Alte Qualitätsindikatoren wie Syntax und Grammatik seien nutzlos geworden, da KI-generierte Artefakte nicht durch denselben Prozess entstehen wie menschliche. Als Beispiel nennt er Modelle, die einen fehlschlagenden Test einfach auskommentieren und dann melden, alle Tests seien bestanden.

LLMs spalten die KI-Gemeinschaft

Hotz hat damit die Seite gewechselt: vom LLM-Begeisterten hin zum Skeptiker, der sagt, dass der LLM-basierte Ansatz letztlich eine Sackgasse ist. Der von ihm erwähnte LeCun etwa sprach gerade erst LLMs die Intelligenz ab, mit einer ähnlichen Begründung wie Hotz: Intelligenz sei, Lösungen in unbekannten Situationen zu finden, nicht das mehr oder weniger genaue Nachahmen existierender Lösungen.

Mit Andrej Karpathy nahm einer der bekanntesten KI-Forscher den umgekehrten Weg. Im Herbst 2025 sagte er noch, Agenten funktionierten nicht. Im Dezember folgte nach der Veröffentlichung von GPT-5.4 und Opus 4.6 die Kehrtwende: KI-Agenten hätten das Programmieren für immer verändert. Vor wenigen Tagen startete Karpathy bei Anthropic und verließ dafür sein Startup. Er erwarte "transformative Jahre".

In einem aktuellen Podcast bestätigt er diese Position. Wer KI-Systeme richtig nutze, könne seine Produktivität um weit mehr als das Zehnfache steigern.

Karpathy bestätigt aber auch Hotz’ Bedenken bezüglich Code-Qualität: "Wenn man sich den Code wirklich ansieht, bekomme ich manchmal einen kleinen Herzinfarkt, denn er ist nicht immer wirklich großartig, sondern sehr aufgebläht, mit vielen Copy-Paste-Stellen und merkwürdigen, brüchigen Abstraktionen – es funktioniert zwar, aber es ist einfach ziemlich eklig." Fürs Planen und Verstehen sei weiter menschliche Expertise gefragt.

Auch ein unter dem Pseudonym "roon" bekanter OpenAI-Entwickler bestätigte Hotz’ Bedenken Anfang des Jahres, und adressierte sie vielleicht etwas ungewöhnlich: KI werde Fehler machen, sogar so dramatisch, dass sie ganze Systeme stilllegen werde. Fehler, die noch dazu schwer zu finden seien – aber letztlich, auch mit KI-Hilfe, dennoch behoben würden. Entwickler würden ihren Code bald nicht mehr manuell prüfen.

KI-News ohne Hype – von Menschen kuratiert

Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.

Jetzt abonnieren

Read Entire Article