L'Allen Institute for AI (Ai2) a lancé le 6 novembre 2026 ToyBlocks, un framework ouvert de simulation conçu pour étudier comment les robots apprennent — et surtout pourquoi ils échouent. Dans cet environnement, un bras robotique pousse, retourne et empile des blocs sur une table, dans des tâches qui exigent à la fois raisonnement spatial et dextérité. C'est le premier des « FoundationWorlds », des mondes contrôlés que l'institut veut utiliser comme laboratoire pour l'apprentissage des robots.
Des démonstrations sans téléopération
Au lieu qu'une personne guide le robot dans chaque mouvement, ToyBlocks génère des démonstrations automatiquement. Des compétences courtes, comme pousser un bloc ou le retourner sans le saisir, sont apprises par apprentissage par renforcement et planification de mouvement dans Isaac Lab, le framework de simulation de NVIDIA. Un planificateur de tâches et de mouvements enchaîne ces compétences pour résoudre des tâches complètes, et chaque plan exécuté en simulation devient une démonstration d'entraînement. Selon Ai2, des centaines de plans peuvent être générés et exécutés en parallèle sur un seul GPU, jusqu'à 24 fois plus vite qu'en temps réel.
85 336 démonstrations et deux modèles entraînés
La version initiale de ToyBlocks comprend 85 336 démonstrations à long horizon, soit environ 1 600 heures d'exécution simulée et 144 millions d'images enregistrées. Le paquet ouvert réunit les ressources de simulation, des générateurs de tâches et de démonstrations, le code d'entraînement et d'évaluation, ainsi que deux modèles entraînés : Molmo 2, qui joue le rôle de planificateur de haut niveau, et ManiFlow, qui contrôle les mouvements du bras. Le code principal est sous licence Apache 2.0. Une deuxième version est promise, avec un jeu de données plus vaste, davantage de compétences et des benchmarks plus larges, ainsi qu'un entraînement par renforcement intégré.
Les premiers résultats ne sont pas rassurants
La valeur de ToyBlocks réside dans les tests qu'il permet. Dans les premières expériences, des modèles d'action populaires comme ManiFlow, π0.5 et MolmoAct 2 ont mal généralisé sur les tâches de l'environnement, malgré un pré-entraînement à grande échelle — signe que la généralisation spatiale reste loin d'être résolue. Dans un test d'épellation de mots avec des blocs, la combinaison de Molmo 2 et ManiFlow a réussi 111 épisodes sur 200 en simulation (55,5 %) et 15 épisodes sur 30 sur le bras physique Franka FR3 (50 %), dans le scénario le plus facile, à trois blocs. Les deux pourcentages proviennent de nombres d'essais différents et ne doivent pas être lus comme des estimations de fiabilité générale.
Une interface en langage naturel
ToyBlocks comprend aussi une interface web permettant de connecter Claude — ou un autre modèle de pointe — et d'instruire le robot en langage naturel, ainsi que des outils via le Model Context Protocol (MCP) pour des expériences avec des systèmes agentiques. Le projet prolonge les travaux ouverts d'Ai2 en apprentissage robotique, notamment MolmoAct 2, MolmoBot et MolmoSpaces.
Crédit image : illustration de ToyBlocks, via le blog de l'Allen Institute for AI sur Hugging Face. L'image montre l'illustration officielle de l'environnement simulé de blocs de ToyBlocks.
Sources
Blog officiel d'Ai2 — ToyBlocks
Blog Hugging Face — ToyBlocks: A controlled world for robot learning and evaluation
Vidéo officielle d'Ai2 sur ToyBlocks sur YouTube
Transparence : cet article a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques sur X et des sources internet. Les informations classées comme annonce de l'institut sont confirmées par la publication officielle ; consultez les sources originales pour vérifier les détails avant de prendre une décision.
Muse
