Reka AIs Omni-Modell Rho-1 vereint Text, Bild, Video und Robotersteuerung in einem einzigen Modell

1 month ago 15

Das KI-Unternehmen Reka AI hat eine Forschungsvorschau seines neuen Modells Rho-1 veröffentlicht. Das Omni-Modell mit 19 Milliarden Parametern verarbeitet und erzeugt Text, Bilder, Video und Robotersteuerung in einem einzigen neuronalen Netz. Im Gegensatz zu gängigen KI-Systemen, die Aufgaben an spezialisierte Modelle weiterreichen, laufen bei Rho-1 alle Modalitäten als Tokens in einem gemeinsamen Kontextfenster, ohne Tool-Calls oder externe Modelle. Das Modell kann laut Reka AI kontinuierlich Video in Echtzeit generieren und dabei auf neue Anweisungen reagieren, ohne abzusetzen.

Dieselben Modellgewichte, die Kamerabilder vorhersagen, steuern auch Roboterbewegungen. Um über knappe Roboter-Trainingsdaten hinauszukommen, hat Reka AI ein Inverse Dynamics Model entwickelt, das aus normalen Internet-Videos Steuerungssignale rekonstruiert. Rho-1 wurde in etwa drei Monaten auf 320 H100-GPUs trainiert.

Reka AI ist kein Neuling im Bereich multimodaler KI. Bereits im April 2024 stellte Reka AI mit Reka Core ein multimodales Sprachmodell vor, das in Benchmarks mit GPT-4, Claude 3 und Gemini Ultra konkurrierte. Die Veröffentlichung steht in einem breiteren Kontext in der KI-Forschung hin zu sogenannten Weltmodellen.

KI-News ohne Hype – von Menschen kuratiert

Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.

Jetzt abonnieren

Read Entire Article