KI-Pionier Sutton hält synthetische Daten für einen "großen Fehler" angesichts einer unendlich komplexen Welt

Der KI-Forscher Richard Sutton widerspricht einem zentralen Ansatz der führenden KI-Labore. Synthetische Daten könnten das Skalierungsproblem großer Sprachmodelle nicht lösen, sagt er, und begründet das mit der schieren Komplexität der Welt.

Turing-Preisträger Richard Sutton gilt als einer der Begründer des Reinforcement Learning. Er verfasste das Standardlehrbuch des Fachs, betreute Forscher wie David Silver, der später an AlphaGo mitarbeitete, und schrieb 2019 den einflussreichen Essay "The Bitter Lesson". Darin argumentiert Sutton, dass in der KI langfristig nur jene Methoden gewinnen, die mit Rechenleistung skalieren, etwa Suche und Lernen, und nicht jene, die auf eingebautes menschliches Wissen setzen.

In einem Gespräch stellte er nun sein neues Unternehmen Oak Lab vor, das er gemeinsam mit seinem ehemaligen Studenten Khurram Javeed gegründet hat. Dabei sprachen er und sein Mitgründer auch über die Grenzen aktueller Trainingsmethoden.

Warum LLMs nur ein halber Sieg sind

Große Sprachmodelle sind laut Sutton zugleich ein positives und ein negatives Beispiel für die Bitter Lesson. Positiv, weil sie enorm mit Rechenleistung skalierten und "das Internet in sich aufsaugen" konnten. Negativ, weil sie an genau diesem Punkt an Grenzen stoßen: Das Internet ist endlich, und die reale Welt sei "massiv größer als alles, was wir im Internet gespeichert haben". An diesem Punkt, so Sutton, verlasse man sich zu stark auf menschliches Wissen, und das halte die Systeme letztlich zurück.

Auf die Nachfrage, ob synthetische Daten diesen Engpass überwinden könnten, wird Sutton deutlich: "Das ist einfach ein großer Fehler." Die Erklärung liefert die von Javeed formulierte "Big World Hypothesis", an der die Gruppe in Alberta seit Jahren arbeitet.

Die Welt ist zu groß für jede Simulation

Die Kernannahme: Die Welt ist unendlich komplex und massiv komplexer als jeder Agent oder jeder Geist. Jede Simulation davon sei winzig, "mikroskopisch". Ein kleines Programm erzeuge zwangsläufig nur eine kleine Welt, die nicht der Realität entspreche, mit falschen Reibungswerten oder ungenauem Motorverhalten eines Roboters. Sutton verweist zudem darauf, dass die Welt viele andere Agenten enthält, deren Innenleben sich prinzipiell nicht als synthetische Daten erzeugen lasse.

Ein zweiter Einwand betrifft den Flaschenhals Mensch. Wer entscheide, welche synthetischen Daten gut oder schlecht seien? Nach Javeeds Argument braucht es dafür menschliche Fachleute. Wollte man etwa eine Drohne trainieren, die sich wie eine Fledermaus per Echoortung bewegt, müsste man erst Domänenexperten anheuern. Der Ansatz sei damit durch menschliche Expertise begrenzt und skaliere nicht. Selbst bei simulationstrainierten selbstfahrenden Autos korrigierten am Ende Menschen die Lücke zwischen Simulation und Realität.

Suttons Alternative: Lernen aus eigener Erfahrung

Die Lösung sieht Sutton darin, den Menschen aus der Schleife zu nehmen und Agenten aus ihrer eigenen Erfahrung lernen zu lassen. Ein Agent solle sein Weltmodell selbst erlernen und laufend korrigieren, statt auf ein von Menschen gebautes und eingefrorenes Simulationsmodell angewiesen zu sein.

Kritik übt Sutton dementsprechend daran, dass heutige Sprachmodelle nach dem Training nicht weiterlernen: "Ihre Gewichte ändern sich nie." Nötig sei stattdessen echtes kontinuierliches Lernen – was laut Suttons Meinung einfach Lernen sei, denn es gäbe kein Lernen, das nicht kontinuierlich sei –, ohne dass altes Wissen zerstört werde, das sogenannte katastrophale Vergessen.

Dieses Problem hält Sutton für lösbar, unter anderem mit dem Verfahren "Continual Backprop", das sein Team in Nature veröffentlicht hat. Sprachmodelle bezeichnet er zwar als "beeindruckenden wissenschaftlichen Durchbruch", aber nur als etwa ein Viertel dessen, was Intelligenz ausmache.