World Labs zeigt, wie Roboter komplexe Aufgaben ohne reale Trainingsdaten lernen

Nach Darstellung von World Labs sei die zentrale Hürde beim Robotereinsatz nicht die Modellarchitektur, sondern die schiere Menge an Erfahrung, die ein Roboter für zuverlässigen Betrieb benötige. Das Sammeln realer Daten sei teuer und schwer kontrollierbar. Auch Internetvideos deckten die vielen möglichen Objekte, Physikbedingungen und Fehlerzustände nicht systematisch ab.

Eine reale Aufgabe, tausende kontrollierte Varianten

Die Engine arbeitet in zwei Schritten. Zuerst werden Roboter, Sensoren, Umgebung und Aufgabendemonstrationen erfasst und als interaktive virtuelle Welt rekonstruiert. Diese Welt soll nicht nur so aussehen wie das Original, sondern sich auch physikalisch gleich verhalten. World Labs kombiniert dafür generative Weltmodelle mit aufgabenorientierter Robotersimulation.

Aus einer einzelnen realen Aufgabe erzeugt das System dann tausende Variationen. Verändert werden etwa Beleuchtung, Position und Anzahl der Objekte, das Umfeld, physikalische Eigenschaften wie Reibung sowie die Kameraperspektive. Zur Überprüfung führt World Labs dieselbe Handlungsfolge parallel in Simulation und Realität aus und vergleicht, ob Beobachtungen, Objektbewegungen und Ergebnisse eng übereinstimmen.

Aus einer einzigen aufgenommenen Aufgabe erzeugt die Engine tausende kontrollierte Varianten, damit eine Policy generalisieren lernt. | Bild: World Labs

Die gezeigten Beispiele umfassen starre, bewegliche und verformbare Objekte, darunter Kabelverlegen, das Einführen eines elastischen Kabel-Endes in eine Bohrung sowie das beidhändige Verpacken einer Schachtel.

Steuerungsmodelle ohne einen einzigen realen Trainingsdurchlauf

Im zweiten Schritt werden die Steuerungsmodelle in der Simulation trainiert und anschließend auf echte Roboter übertragen. Als Testplattform diente unter anderem ALOHA, ein offener Bauplan aus Stanford für zwei nebeneinander montierte Roboterarme, die per Puppeteering über zwei kleinere Steuerarme bedient werden.

Weil der Aufbau nur einen Bruchteil kommerzieller Zweiarm-Systeme kostet und alle Baupläne offenliegen, ist ALOHA in der Robotik-Lernforschung zur Referenzplattform geworden, auf der sich Ergebnisse zwischen Laboren vergleichen lassen.

Auf vier weiteren Roboterplattformen liefen die Modelle nach Angaben von World Labs jeweils eine Stunde lang, ohne dass ein Mensch eingreifen musste. Die Aufgaben reichten vom beidhändigen Verlegen eines Netzkabels um einen Kühlschrank über das präzise Umsetzen von Reagenzgläsern bis zum Vereinzeln dünner Objekte wie Marker oder Bleistifte aus dichtem Durcheinander.

Weil das System weder an ein bestimmtes Steuerungsmodell noch an einen bestimmten Robotertyp gebunden sei, könne eine einmal rekonstruierte Welt später auch für neue Modelle und andere Roboter weiterverwendet werden, so das Unternehmen.

Simulation als Prüfstand für Policies

World Labs argumentiert, dass die Roboterentwicklung deutlich langsamer voranschreite als die von Sprachmodellen, weil die Bewertung von Steuerungsmodellen bislang stark an Tests auf echter Hardware gebunden sei. Eine belastbare Simulation müsse dabei nicht exakt dieselben Erfolgsraten liefern wie die Realität. Entscheidend sei, dass sie dieselben Fragen beantworte: Wo scheitert ein Modell, welche Version ist besser, und übertragen sich Verbesserungen auf die Hardware?

Getestet wurde das an einer beidhändigen Würfelübergabe zwischen zwei Armen eines ALOHA-Roboters. Die Simulation reproduzierte laut World Labs sowohl Grenzfälle, in denen der Roboter den Würfel gerade noch an der Kante greift, als auch die zugehörigen Fehlversuche. Über verschiedene Modelltypen (darunter GR00T N1.6 und π₀.₅) und Trainingsstände hinweg blieb die Rangfolge der Modelle in Simulation und Realität weitgehend gleich, sowohl bei bekannten Würfelpositionen als auch bei bisher ungesehenen. Jeder Checkpoint wurde mit 2000 simulierten und 100 realen Durchläufen bewertet.

Richtlinien, die in der Simulation besser abschneiden, schneiden auch auf der Hardware besser ab, die Rangfolge bleibt erhalten. | Bild: World Labs

Für Entwicklungsteams bedeutet das nach Angaben des Unternehmens: Schwache Modellversionen lassen sich in der Simulation vorab aussortieren, teure Hardware-Tests bleiben den vielversprechendsten Kandidaten vorbehalten.

Der Simulator als Dreh- und Angelpunkt

World Labs ordnet die Ergebnisse in seine Taxonomie der Weltmodelle ein. Darin bildet der Simulator das zentrale Element, weil er eine Welt in einen Ort verwandelt, an dem Software-Agenten handeln, lernen und getestet werden können. Das Unternehmen verweist auf Parallelen zum autonomen Fahren, wo einige erfolgreiche L3- oder L4-Systeme kombiniert mit realen und simulierten Daten trainiert werden.

Das langfristige Ziel formuliert World Labs so: Wer die Intelligenz von Robotern skalieren wolle, müsse die Welten skalieren, in denen sie lernen. Wie robust sich die Ergebnisse auf komplexere Umgebungen, weitere Robotertypen und weniger kontrollierbare Alltagssituationen übertragen lassen, bleibt offen.

World Labs wurde 2024 von der KI-Forscherin Fei-Fei Li gegründet und verfolgt das Ziel, Modelle mit räumlicher Intelligenz zu entwickeln, die die dreidimensionale physische Welt verstehen. Ein erstes System des Start-ups erzeugte aus einzelnen Fotos begehbare 3D-Umgebungen, zuletzt sammelte die Firma eine Milliarde Dollar Risikokapital ein, um ihre Weltmodelle auch für Robotik und Wissenschaft nutzbar zu machen. Die jetzt gezeigte R2S2R-Engine ist die erste konkrete Anwendung dieser Vision im Robotikbereich.

Der Forschungsansatz reiht sich in eine breitere Debatte darüber ein, welche Rolle Weltmodelle in der Robotik spielen sollen. Ein internationales Forschungsteam hat kürzlich versucht, einheitlich zu definieren, was ein Weltmodell überhaupt ist, und grenzt es klar von reinen Videogeneratoren ab.

Ein passendes Forschungsfeld dazu sind World Action Models, die Vorhersagen über die nahe Zukunft direkt mit Steuerbefehlen koppeln, ein anderer Weg als der von World Labs, bei dem Simulation und Richtlinie getrennt bleiben. Aus China kommt mit Orca ein weiterer Ansatz, bei dem ein Roboter Aufgaben allein durch Videobeobachtung lernt, ohne dass echte Bewegungsdaten im Training vorliegen müssen.