Der Erfinder der bitteren Lektion hat eine bittere Lektion für LLM‑Begeisterte. Andere Forschende sehen es ähnlich.
In einem aktuellen Beitrag sagt Turing-Preisträger Richard Sutton, dass rohe Rechenkraft allein nicht für Intelligenz ausreiche. Es brauche clevere neue Methoden, die KI-Wissenschaft sei "noch lange nicht am Ziel". Sein Posting sorgte in der KI-Bubble bei X für reichlich Resonanz. Das zeigt: Sutton trifft hier einen Nerv.
Sutton via XIn seinem berühmten Essay "Die bittere Lektion" von 2019 hatte Sutton argumentiert, dass sich langfristig allgemeine, mit Rechenleistung skalierende Methoden gegenüber raffinierten menschlichen Spezialentwicklungen durchsetzen. Entscheidend seien Ideen, die mit Rechenleistung wachsen, statt sich auf menschliche Vorannahmen zu stützen.
Neu ist Suttons Aussage nicht. Schon in früheren Stellungnahmen kritisierte Sutton die Grenzen reiner Skalierung großer Sprachmodelle. Er nannte synthetische Daten einen "großen Fehler", da die echte Welt unendlich komplex sei und jede Simulation davon nur "mikroskopisch" klein. Menschliche Expertise als Flaschenhals verhindere echtes Skalieren.
Stattdessen forderte er Agenten mit Weltmodellen, die fortlaufend aus eigener Erfahrung lernen. Die Welt sei massiv komplexer, als sich in Internettexten abbilden lasse. Heutige Sprachmodelle lernten nach dem Training nicht weiter; nötig sei kontinuierliches Lernen, ohne dass altes Wissen zerstört werde.
LLMs auf dem Prüfstand
KI-Forscher Jerry Tworek, der wie viele andere mit OpenAI eine der großen KI-Firmen verließ, um neue KI-Ansätze zu erforschen, ordnet die aktuelle Aussage ein. Die bittere Lektion zähle weiter, aber je mehr Rechenleistung ins Modelltraining fließe, desto wichtiger werde der Algorithmus.
Manche Algorithmen skalierten, andere führten in Sackgassen, und viele Dimensionen der Skalierung seien noch völlig unerforscht. Der zeitweilige Erfolg der Transformer-Skalierung und eine Fehlinterpretation der bitteren Lektion habe "einer ganzen Generation von Wissenschaftlern den Verstand vernebelt".
KI-Forscher Jayden Teoh ergänzt eine weitere Perspektive: Er habe erlebt, wie die bittere Lektion akademische Forschung immer wieder ausgebremst habe. Zu oft würden vielversprechende Ideen abgetan, weil sie nicht genug im Sinne der bitteren Lektion seien. Das sei nicht Suttons Schuld, sondern eine Fehlinterpretation seiner ursprünglichen Botschaft.
Ideen, die im Nachhinein nicht im Sinne der bitteren Lektion aussähen, seien oft durch sauberere, allgemeinere Ansätze ersetzt worden. Das mache sie aber nicht falsch. Oft seien sie genau das gewesen, was zum jeweiligen Zeitpunkt Fortschritt ermöglicht habe. Teoh wünscht sich, dass die Forschungsgemeinschaft solche Arbeiten nicht im Moment ihres Entstehens abtut. Eine Idee müsse nicht für immer skalieren, um ein wichtiger Beitrag zum KI-Fortschritt zu sein.
Genau diese Spannung zwischen Suttons Forderung nach neuen Lernverfahren und Tworeks Kritik an der blinden Transformer-Skalierung spiegelt sich in einer wachsenden Gründungswelle wider. Im aktuellen KI-Radar #5 haben wir 45 neue KI-Labore sortiert, die genau auf diese Lücken wetten. Tworek selbst leitet mit Core Automation eines davon und sucht Lernalgorithmen jenseits von Vortraining und Reinforcement Learning.
Was diese Gründer, darunter Sutton mit Oak Lab, eint: Sie glauben an viel leistungsfähigere KI, bezweifeln aber, dass das heutige Rezept allein dorthin führt.
Manche wetten weiter auf LLM-Skalierung
Allerdings sehen prominente Branchenköpfe die Lage gänzlich anders. OpenAI-CEO Sam Altman hält die Skalierung großer Sprachmodelle für lange nicht ausgereizt und wirft LLM-Kritikern vor, eine ganze Forschergeneration gebremst zu haben, weil sie zu sicher gewesen seien, was Skalierung nicht leisten könne.
Als Beleg verweist er auf ein OpenAI-Modell, das kürzlich eine mathematische Vermutung widerlegte, an der Mathematiker lange gescheitert waren. Weltmodelle hält er zwar für nützlich, etwa in der Robotik, doch die Daten sprächen klar für weitere LLM-Skalierung.
Ähnlich argumentiert Anthropic-Chef Dario Amodei, der den Skalierungsfortschritt als "Regenbogen ohne Ende" beschreibt. Allerdings sind Amodei und Altman als CEOs der beiden KI-Firmen, die genau auf diesen technischen Ansatz setzen, offensichtlich befangen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
