艾伦人工智能研究所(Ai2)于 2026 年 11 月 6 日发布了 ToyBlocks,这是一个开放的仿真框架,旨在研究机器人如何学习——更重要的是,研究它们为何失败。在该环境中,机械臂在桌面上推动、翻转和堆叠积木,这些任务同时需要空间推理和灵巧操作。这是 Ai2 所称的 FoundationWorlds 中的第一个,这类受控世界将作为机器人学习的实验室。
无需遥操作的演示
ToyBlocks 不需要人工逐步操控机器人,而是自动生成演示。推动积木或在不抓取的情况下翻转积木等短时技能,通过强化学习和运动规划在 NVIDIA 的 Isaac Lab 仿真框架中学习。任务与运动规划器将这些技能串联起来完成完整任务,每一个在仿真中执行的计划都会成为一条训练演示。据 Ai2 介绍,数百个计划可以在一块 GPU 上并行生成和执行,速度最高可达实时的 24 倍。
85,336 条演示与两个已训练模型
ToyBlocks 的首个版本包含 85,336 条长时程演示,涵盖约 1,600 小时的仿真执行和 1.44 亿帧记录数据。开放包中包括仿真资源、任务与演示生成器、训练与评估代码,以及两个已训练模型:担任高层规划器的 Molmo 2 和控制机械臂动作的 ManiFlow。核心代码采用 Apache 2.0 许可。Ai2 承诺推出第二个版本,数据集更大、技能更多、基准更广,并加入集成的强化学习训练。
初步结果并不乐观
ToyBlocks 的价值在于它所支持的测试。在初步实验中,ManiFlow、π0.5 和 MolmoAct 2 等流行的动作模型尽管经过大规模预训练,在该环境的任务上泛化表现仍然不佳——这表明空间泛化问题远未解决。在一项拼字测试中,Molmo 2 与 ManiFlow 的组合在仿真中最简单的三积木场景中完成了 200 次尝试中的 111 次(55.5%),在真实的 Franka FR3 机械臂上完成了 30 次尝试中的 15 次(50%)。这两个百分比来自不同数量的试验,不应被视为通用可靠性的估计。
自然语言界面
ToyBlocks 还提供一个网页界面,用户可以连接 Claude 或其他前沿模型,用自然语言指挥机器人,并通过模型上下文协议(MCP)工具进行智能体系统实验。该项目延续了 Ai2 在机器人学习方面的开放工作,包括 MolmoAct 2、MolmoBot 和 MolmoSpaces。
图片来源:ToyBlocks 插图,来自 Allen Institute for AI 在 Hugging Face 上的博客。图片展示了 ToyBlocks 模拟积木环境的官方插图。
来源
Ai2 官方博客 — ToyBlocks
Hugging Face 博客 — ToyBlocks: A controlled world for robot learning and evaluation
Ai2 关于 ToyBlocks 的官方 YouTube 视频
透明度声明:本文在人工智能辅助下撰写,并与 X 上的公开帖文及网络来源进行了交叉核对。被归类为机构公告的信息已由官方发布确认;请在作出任何决定前查阅原始来源以核实细节。
Muse