Laut dem technischen Bericht sollte Intelligenz nicht durch spezialisierte Vorhersagemodelle wie Sprachmodelle, Videogeneratoren oder Robotersteuerungen definiert werden. Nötig seien Modelle, die eine allgemeine Vorstellung davon aufbauen, wie sich die Welt verändert, und diese als Grundlage für unterschiedliche Aufgaben nutzen können.
Ein festes Fundament bildet eine interne Vorstellung der Welt, aus der austauschbare Zusatzmodule Texte, Bilder oder Roboterbewegungen ableiten. | Bild: BAAIZwei Trainingsverfahren, die sich ergänzen
Orca kombiniert zwei Lernparadigmen. Das "unconscious learning" nutzt kontinuierliche Videos ohne jede Beschriftung. Das Modell bekommt ein Bild und sagt vorher, wie das nächste Bild aussehen wird, allerdings nicht auf Pixelebene, sondern in einer abstrakten Repräsentation. So verinnerlicht es Bewegungsabläufe, Verdeckungen und typische Szenendynamik.
Orca lernt auf zwei Wegen: aus reinen Videos, wie sich Szenen von selbst verändern, und aus sprachlich beschriebenen Handlungen, was eine bestimmte Aktion bewirkt. | Bild: BAAIDas "conscious learning" fügt sprachliche Anweisungen hinzu. Videos werden in bedeutungsvolle Segmente unterteilt, die jeweils mit einer Beschreibung des zugehörigen Zustandsübergangs versehen sind. Das Modell lernt so, wie sich ein Zustand verändert, wenn eine bestimmte Handlung ausgeführt wird. Zusätzlich wird es auf klassische Frage-Antwort-Aufgaben zu Videos trainiert, damit es weiterhin über natürliche Sprache angesprochen werden kann.
Festes Fundament, austauschbare Ausgänge
Als Basis dient das vortrainierte Sprach-Bild-Modell Qwen3.5. Nach dem Training bleibt dieses Fundament unverändert. Für jede Ausgabeart hängen die Forscher ein separates, kleineres Modul an, das die interne Repräsentation in die gewünschte Form übersetzt: Texte laufen über den vorhandenen Sprach-Ausgang von Qwen3.5. Für Bilder bleibt der Bildgenerator Stable Diffusion 3.5 selbst unverändert; trainiert werden nur kleine vorgeschaltete Anpassungsmodule, die Orcas interne Repräsentation an den Bildgenerator übergeben. Roboteraktionen erzeugt ein von Grund auf trainiertes Steuermodul namens "Action Expert".
Für jede Aufgabe hängt am selben, unveränderten Fundament ein eigenes kleines Modul, das die interne Vorstellung in Text, Bild oder Bewegung übersetzt. | Bild: BAAIDiese Aufteilung ist Absicht: Das Team will laut Paper nicht in einzelnen Benchmarks Bestwerte erzielen, sondern zeigen, dass eine gut gelernte interne Weltrepräsentation als gemeinsame Grundlage für sehr unterschiedliche Aufgaben taugt.
Für das Training haben die Forscher 125.000 Stunden Videomaterial, 160 Millionen Event-Beschreibungen und 11,5 Millionen Frage-Antwort-Paare zusammengetragen. Die Videos decken vier Perspektiven ab: Ich-Sicht bei alltäglichen Interaktionen, Außensicht auf Manipulationsaufgaben, Roboteraufzeichnungen ohne Aktionsdaten und natürlich ablaufende Szenen. Für die aktuelle Version wurde laut Bericht nur ein Zehntel der Videodaten verwendet.
Das Training stützt sich auf drei Datenarten: unbeschriftete Videos, in beschriebene Abschnitte zerlegte Handlungen und Frage-Antwort-Paare zu Videoszenen. | Bild: BAAISkalierung und Benchmark-Ergebnisse
Orca wurde in zwei Größen trainiert, mit 0,8 und 4 Milliarden Parametern. Der Trainingsverlust sinkt kontinuierlich mit mehr Daten und größeren Modellen. Die Probe-Experimente zeigen zudem: Je besser die interne Weltrepräsentation im Vortraining wird, desto besser fallen die Ergebnisse in allen drei Ausgabemodi aus.
Im Textbereich erzielt Orca-4B laut Tabelle des Papers auf den Benchmarks MVBench, TemporalBench, 3DSRBench und SWITCH den besten Gesamtdurchschnitt von 51,8 Prozent innerhalb der verglichenen kleinen VLMs und größeren Weltmodelle. Orca-4B liegt im Durchschnitt vor mehreren VLM-Baselines wie Qwen3.5-4B, Gemma 4-4B und DeepSeek-VL2-3B, gewinnt aber nicht jeden einzelnen Benchmark, etwa auf MVBench liegt Qwen3.5-4B vorn. Auch die deutlich größeren Weltmodelle Emu3 (8B) und Emu3.5 (34B) werden im Schnitt übertroffen.
Zu einer Anweisung soll das passende Ergebnisbild entstehen. Orca hält Roboterarm, Objekte und Bezug zur Anweisung meist stimmiger als reine Bildgeneratoren. | Bild: BAAIFür die Bildvorhersage haben die Forscher einen eigenen Benchmark namens PRICE-V0.1 gebaut. Er zeigt reale Roboter- und Ich-Perspektive-Szenen und verlangt, das Ergebnis einer Anweisung als Bild zu erzeugen, etwa "die Mikrowelle schließen". Orca-4B erreicht dort im Schnitt 59,8 Prozent und liegt damit vor spezialisierten Bildgeneratoren wie FLUX.2 klein mit 56,1 Prozent, FLUX.1-Kontext mit 40,9 Prozent und OmniGen2 mit 39,6 Prozent. Laut Bericht bewahrt Orca die Form des Roboters, die Kontaktpunkte zu Objekten und den Bezug zur Anweisung besser als die reinen Bildmodelle, die häufig irrelevante Objekte oder halluzinierte Hände einfügen.
Robotersteuerung ohne Aktionsdaten im Vortraining
In fünf Manipulationsaufgaben mit einem zweiarmigen humanoiden Roboter auf Rädern, darunter Bücher einräumen, Schüsseln stapeln und Zucker löffeln, erreicht Orca eine mit dem auf Roboterdaten spezialisierten π0.5 vergleichbare Leistung. Orcas Grundmodell hat im Vortraining nie gesehen, welche Bewegung zu welchem Bild gehört. Für die eigentliche Robotersteuerung wurde anschließend ein separates Modul mit 200 realen Beispielaufnahmen pro Aufgabe trainiert, in denen jeweils Kamerabild und ausgeführte Bewegung gepaart sind.
Nach mehreren misslungenen Greifversuchen setzt Orca neu an und schafft die Aufgabe, während das spezialisierte π0.5 in den Fehlversuchen hängen bleibt. | Bild: BAAIDie Baselines V-JEPA 2.1 und Qwen3.5, die mit demselben Steuermodul kombiniert wurden, bleiben deutlich zurück. Bei der Fehlerkorrektur zeigt Orca zusätzliche Vorteile: Nach einem misslungenen Greifversuch setzt es zu einem neuen Versuch an, während π0.5 laut den Beispielen im Paper in wiederholten Fehlversuchen verharrt. Für die Autoren ist das ein möglicher Weg, das grundlegende Problem der knappen Roboterdaten zu entschärfen.
Infrastruktur und offene Fragen
Für das Training nutzt das Team die selbstentwickelte Bibliothek FlagScale mit mehreren Optimierungen für Speicherverbrauch und Kommunikation. Der Durchsatz liegt laut Bericht bei 2,91 Trainingsbeispielen pro Sekunde und GPU auf H100-Karten, etwa 4,4-mal schneller als die im Robotik-Umfeld verbreitete StarVLA-Codebasis.
Orca lernt bislang nur aus Bild und Sprache; andere Signale wie Ton, Kraft oder Tastsinn fehlen. Die visuelle Vorhersage findet im Repräsentationsraum eines bereits vortrainierten Bildencoders statt, statt einen eigenen Weltraum von Grund auf zu lernen. Die Modellgrößen von 0,8 und 4 Milliarden Parametern seien für vollständige Weltmodellierung zu klein, und die Event-Beschreibungen deckten nur kurze Zeithorizonte im Minutenbereich ab. Ein von Grund auf trainiertes natives Weltmodell auf Basis vieler Signalarten bleibt laut BAAI die eigentliche Zielrichtung.
Wie Weltmodelle sinnvoll definiert werden, ist in der KI-Forschung umstritten. Ein Team um die Peking University hat mit OpenWorldLib eine einheitliche Definition vorgeschlagen, die reine Text-zu-Video-Modelle wie Sora ausschließt. Ein Benchmark der Tsinghua-Universität zeigte zudem, dass selbst Sora 2 oder Veo 3.1 beim physikalisch plausiblen Fortschreiben einer Szene schwach abschneiden. In der Robotik koppeln World Action Models die Vorhersage von Zustandsübergängen mit der Aktionsgenerierung, um auch aus gewöhnlichen Alltagsvideos ohne Aktionsdaten lernen zu können.
