Ai2 发布 ToyBlocks 仿真环境，模型可迁移真机

我们希望 ToyBlocks 能推动机器人将所学应用到陌生任务与环境中。 我们正在发布仿真资产、任务与演示生成器、2 个已训练模型、训练代码、评估代码及验证集。 📝 博客：https://allenai.org/blog/toyblocks

仅在 ToyBlocks 虚拟世界中训练的 Molmo 2 + ManiFlow，在物理机器人上以 15/30 次尝试成功堆叠字母积木拼出一个单词，而在仿真中为 111/200 次。 仿真训练的模型可以成功迁移到物理机器人，但还需要更多试验。

在初步的 ToyBlocks 测试中，ManiFlow、π0.5 和 MolmoAct 2 对新空间配置的泛化表现不佳。 对照实验让我们能够测试训练和模型设计的改动，然后衡量哪些技术能改善泛化能力。

ToyBlocks 让你可以测试这些内容： 📷 与彩色图像相比，深度输入能否改善机器人控制？ 🧱 模型能否在未用四块堆叠数据训练的情况下堆叠四块积木？ 🔤 模型在规划长任务上的表现如何？ 或者设计你自己的评测。

ToyBlocks 包含一个工具接口，可连接前沿模型，让用户用自然语言指挥机器人并尝试任务。 通过摄像头图像和技能调用，研究人员可以研究模型如何搜索、规划和处理错误。

Ai2 发布 ToyBlocks，研究者可用它构建强调特定技能或填补现有数据集缺口的训练混合。初始版本包含 85K 条长程演示，每条演示按数据集不同由约 6–12 个技能演示组成。

在 ToyBlocks 中，用户定义诸如堆叠方块序列的高层任务。ToyBlocks 规划如何通过低层技能完成这些任务。 模拟每个规划会生成一个演示，用于训练从传感器观测（包括相机图像）出发行动的模型。

幼儿通过玩积木学习规划与空间推理，积木堆倒塌后重新搭建，或翻转积木找到上面的字母。 ToyBlocks 采用同样的设定——一个模拟机器人必须在推、翻、堆叠积木的过程中，推理积木之间如何相互作用。

Ai2 推出 ToyBlocks，一个开源的仿真桌面环境，用于机器人学习中的受控实验。它让机器人研究者能够对训练数据和模型进行实验控制、运行有针对性的评测，并把失败追溯到具体原因。代码已在 GitHub 开放（https://github.com/allenai/ToyBlocks）。

Ai2 发布 ToyBlocks，一个围绕机械臂与桌面方块搭建的开放仿真框架，属于其 FoundationWorlds 系列的第一个环境，可自动生成任务与演示数据，并提供成功率之外的执行速度、施力等评测指标。

入选理由Ai2 把机器人学习的数据生成、训练与评测收进一个可控仿真世界，并公开代码与数据，研究者可据此设计可复现的泛化实验。

Ai2 发布开源仿真框架 ToyBlocks，以机械臂和桌面方块构建受控环境，用于机器人学习与评测。它是 Ai2 FoundationWorld 框架的首个受控环境。