Das Pekinger Forschungsinstitut Beijing Academy of Artificial Intelligence (BAAI) hat mit Orca ein neuartiges Weltmodell vorgestellt, das Text, Bilder und Roboterbefehle aus einer einzigen internen Repräsentation ableitet. Trainiert wurde das System mit 125.000 Stunden unbeschrifteten Videos und 160 Millionen Ereignisbeschreibungen. In Benchmarks übertrifft die kompakte Vier-Milliarden-Parameter-Version deutlich größere Konkurrenzmodelle.
Zwei Lernverfahren erzeugen einen gemeinsamen Weltzustand
Anders als klassische KI-Modelle sagt Orca keine einzelnen Tokens, Pixel oder Robotersignale voraus, sondern lernt einen abstrakten inneren Zustand der Welt – vergleichbar mit einer inneren Vorstellung davon, wie sich eine beobachtete Szene als Nächstes verändert. Das Team kombiniert dafür zwei Lernverfahren: Im unbewussten Lernen beobachtet das Modell dichte, natürliche Zustandsübergänge aus fortlaufenden Videosequenzen, ohne dass diese sprachlich beschrieben sind. Im bewussten Lernen verarbeitet Orca dagegen 160 Millionen Ereignisbeschreibungen, die einzelne Videoabschnitte mit kurzen Textanweisungen verknüpfen. Als Grundlage dient ein eingefrorenes vortrainiertes Sprachmodell namens Qwen3.5, auf dessen Repräsentationen drei Trainingsziele gleichzeitig wirken: die Vorhersage reiner Beobachtungsübergänge, die sprachlich bedingte Zustandsvorhersage und klassische Frage-Antwort-Aufgaben. Erst danach koppelt das Team leichte, aufgabenspezifische Decoder an das eingefrorene Modell, die aus der gemeinsamen Repräsentation Text, Bilder oder Roboterbefehle erzeugen. Nach Angaben von BAAI gilt dabei ein einfacher Zusammenhang: Je stärker die gelernte interne Repräsentation, desto besser fallen die nachgelagerten Ergebnisse in allen drei Ausgabearten aus.
Orca übertrifft größere Modelle in Text- und Bildbenchmarks
Bei vier Sprachbenchmarks für Videoverständnis – darunter MVBench und TemporalBench – erreicht die kompakte Vier-Milliarden-Parameter-Version von Orca im Schnitt 51,8 Prozent und liegt damit vor dem ähnlich großen Modell Qwen3.5-4B mit 46,7 Prozent. Deutlicher fällt der Abstand zum mehr als achtmal so großen Modell Emu3.5, das im Schnitt nur 29,8 Prozent erreicht, obwohl es erheblich mehr Parameter besitzt. Besonders groß ist der Vorsprung bei Aufgaben zu Zustandsübergängen und Bewegungsabläufen in Videos, Bereichen, in denen ein internes Weltmodell nach Angaben von BAAI besonders hilft. Auch bei der Bildvorhersage schneidet Orca gut ab: Kombiniert mit einem zusätzlichen Zwei-Milliarden-Parameter-Decoder erzielt das System auf dem Testsatz PRICE-V0.1 einen Wert von 59,8 Punkten und liegt damit vor dem spezialisierten Bildgenerator FLUX.2 klein mit 56,1 Punkten. Bewertet wurden die erzeugten Bilder von mehreren anderen KI-Modellen als Gutachter, darunter Gemini 3.1 Pro und GPT-5.4. Diese Ergebnisse stammen aus dem technischen Bericht des BAAI-Teams und sind unabhängig nicht verifiziert.
Wenige Beispiele genügen für die Robotersteuerung
Am deutlichsten zeigt sich der Anspruch des Modells in der Robotersteuerung. Für fünf reale Manipulationsaufgaben reichten dem Team lediglich 200 Trainingsbeispiele pro Aufgabe, um Orca an einen Roboterarm anzupassen. Damit erreichte das System ein Leistungsniveau, das mit dem spezialisierten Robotik-Modell π0.5 vergleichbar ist. Bei der Fehlererkennung und -korrektur während der Objektmanipulation habe Orca das Vergleichsmodell laut BAAI sogar übertroffen. Bemerkenswert ist, dass beim eigentlichen Vortraining keine einzige mit Aktionen beschriftete Aufnahme zum Einsatz kam; das Modell lernte Bewegungsabläufe ausschließlich aus unbeschrifteten Videos. Erst in der finalen Anpassungsphase kamen die wenigen aktionsbeschrifteten Beispiele hinzu, um die gelernte interne Repräsentation auf konkrete Steuerbefehle für den Roboterarm abzubilden. Nach Angaben des Teams wächst die Leistung über alle drei Aufgabenarten hinweg mit der Modellgröße und der Menge an Videodaten kontinuierlich: Zwischen 0,8 und 4 Milliarden Parametern sowie zwischen 12.500 und 125.000 Stunden Videomaterial sinkt der Trainingsverlust stetig weiter, ohne dass sich bislang eine obere Grenze abzeichnet.
BAAI-Präsident sieht Weltmodelle als nächsten Schritt der Robotik
BAAI-Präsident Wang Zhongyuan erläuterte die strategische Ausrichtung des Instituts bereits vor Veröffentlichung des Papers in einem Interview mit dem Wirtschaftsmedium 36Kr. Vision-Language-Action-Systeme, die Kamerabilder direkt in Robotersteuerungsbefehle übersetzen, seien für einzelne Szenarien nützlich, stießen bei langen Aufgabenketten und komplexem räumlichem Schlussfolgern aber an Grenzen. Weltmodelle, die Ursache und Wirkung sowie zeitliche Konsistenz abbilden, seien deshalb laut Wang der nächste Entwicklungsschritt der Robotik, weit über einzelne Steuerbefehle hinaus. Orca reiht sich damit in eine wachsende Zahl chinesischer Weltmodell-Projekte ein, die den direkten Vergleich mit US-amerikanischen Systemen suchen, nachdem BAAI zuvor bereits mit dem offen verfügbaren Robotik-Modell RoboBrain für Aufsehen gesorgt hatte. Code oder Modellgewichte hat BAAI zu Orca bislang nicht veröffentlicht, verfügbar sind bisher nur der technische Bericht und eine Projektseite mit Beispielvideos der Roboterversuche. Damit lässt sich die Arbeit derzeit weder von unabhängigen Forschungsgruppen nachstellen noch in eigenen Anwendungen ausprobieren, was einen direkten Vergleich mit westlichen Weltmodell-Projekten vorerst erschwert.
Entscheidend wird, ob sich die Ergebnisse außerhalb kontrollierter Benchmarks bestätigen, etwa bei Objekten oder Umgebungen, die im Trainingsmaterial nicht vorkommen. Offen bleibt zudem, ob BAAI Code und Gewichte veröffentlicht, denn bislang liegt nur der technische Bericht vor, ohne den eine unabhängige Nachprüfung der Zahlen kaum möglich ist.
