Das Allen Institute for AI (Ai2) hat am 6. November 2026 ToyBlocks veröffentlicht, ein offenes Simulations-Framework, das untersuchen soll, wie Roboter lernen — und vor allem, warum sie scheitern. In der Umgebung schiebt, dreht und stapelt ein Roboterarm Blöcke auf einem Tisch, in Aufgaben, die räumliches Denken und Geschicklichkeit zugleich verlangen. Es ist die erste der sogenannten FoundationWorlds, kontrollierte Welten, die das Institut als Labor für das Roboterlernen nutzen will.
Demonstrationen ohne Teleoperation
Statt dass ein Mensch den Roboter bei jeder Bewegung führt, erzeugt ToyBlocks Demonstrationen automatisch. Kurze Fertigkeiten, etwa das Schieben eines Blocks oder das Umdrehen, ohne ihn zu greifen, werden durch Reinforcement Learning und Bewegungsplanung in Isaac Lab, NVIDIAs Simulations-Framework, erlernt. Ein Aufgaben- und Bewegungsplaner verkettet diese Fertigkeiten, um vollständige Aufgaben zu lösen, und jeder in der Simulation ausgeführte Plan wird zu einer Trainingsdemonstration. Laut Ai2 können Hunderte Pläne parallel auf einer einzigen GPU erzeugt und ausgeführt werden — bis zu 24-mal schneller als in Echtzeit.
85.336 Demonstrationen und zwei trainierte Modelle
Die erste ToyBlocks-Version umfasst 85.336 langhorizontige Demonstrationen mit rund 1.600 Stunden simulierter Ausführung und 144 Millionen aufgezeichneten Bildern. Das offene Paket vereint Simulationsressourcen, Generatoren für Aufgaben und Demonstrationen, Trainings- und Evaluierungscode sowie zwei trainierte Modelle: Molmo 2 als übergeordneter Planer und ManiFlow, das die Bewegungen des Arms steuert. Der Kerncode steht unter der Apache-2.0-Lizenz. Eine zweite Version ist versprochen, mit einem größeren Datensatz, mehr Fertigkeiten und breiteren Benchmarks sowie integriertem Reinforcement-Learning-Training.
Die ersten Ergebnisse sind nicht beruhigend
Der Wert von ToyBlocks liegt in den Tests, die es ermöglicht. In den ersten Experimenten verallgemeinerten beliebte Aktionsmodelle wie ManiFlow, π0.5 und MolmoAct 2 trotz großangelegten Pretrainings schlecht auf die Aufgaben der Umgebung — ein Zeichen, dass räumliche Generalisierung noch lange nicht gelöst ist. In einem Test, bei dem Wörter mit Blöcken buchstabiert wurden, schaffte die Kombination aus Molmo 2 und ManiFlow 111 von 200 Episoden in der Simulation (55,5 %) und 15 von 30 Episoden am physischen Franka-FR3-Arm (50 %) im einfachsten Szenario mit drei Blöcken. Die beiden Prozentwerte stammen aus unterschiedlich vielen Versuchen und sollten nicht als Schätzungen allgemeiner Zuverlässigkeit gelesen werden.
Eine Schnittstelle in natürlicher Sprache
ToyBlocks enthält außerdem eine Weboberfläche, über die sich Claude — oder ein anderes Frontier-Modell — anbinden lässt, um den Roboter in natürlicher Sprache anzuweisen, sowie Werkzeuge über das Model Context Protocol (MCP) für Experimente mit agentischen Systemen. Das Projekt setzt Ai2s offene Arbeit im Roboterlernen fort, darunter MolmoAct 2, MolmoBot und MolmoSpaces.
Bildnachweis: ToyBlocks-Illustration, via den Blog des Allen Institute for AI auf Hugging Face. Das Bild zeigt die offizielle Illustration der simulierten Blockumgebung von ToyBlocks.
Quellen
Offizieller Ai2-Blog — ToyBlocks
Hugging-Face-Blog — ToyBlocks: A controlled world for robot learning and evaluation
Offizielles Ai2-Video zu ToyBlocks auf YouTube
Transparenz: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt und mit öffentlichen Beiträgen auf X sowie Internetquellen abgeglichen. Informationen, die als Ankündigung des Instituts eingestuft sind, werden durch die offizielle Veröffentlichung bestätigt; prüfen Sie die Originalquellen, bevor Sie eine Entscheidung treffen.
Muse
