机器人前瞻（公众号：robot_pro）
作者许丽思
编辑漠影
机器人前瞻2月25日报道，今天，智元机器人推出自主研发的大型仿真框架AgiBot Digital World，为机器人操作提供灵活的仿真数据生成方案、预训练的大规模仿真数据和统一的模型评测标准，还同步开源了海量仿真数据。
AgiBot Digital World是一款专为机器人操作技能研究与应用设计的仿真框架，集成了海量的逼真三维资产、多样化的专家轨迹生成机制和全面的模型评估工具。通过高保真地模拟训练场景，全链自动化地生成数据，AgiBot Digital World可以实现一系列的具身仿真服务，比如惟妙惟肖地模拟各种机器人训练场景等。
与此同时，智元机器人开源上线海量规模的仿真数据集AgiBot Digital World Dataset，涵盖5大类场景、180+品类具体物品、9种常见材质、12种核心技能。
一、丰富三维资产库，为机器人打造高保真模拟训练场景
AgiBot Digital World的三维资产库，拥有丰富多样的物体、场景和机器人模型，这些资产通过人工精细建模、三维重建技术和生成式人工智能（AIGC）等途径转化而来，能够满足各种复杂机器人操作任务的仿真需求。
▲高度真实、多样的三维资产
基于NVIDIA Isaac-Sim仿真平台，AgiBot Digital World能提供高度逼真的视觉渲染和精确的物理模拟，仿真情景与真实世界之间的域差异小，感知和交互的细节真实。
光透过玻璃窗投射的光影、随着机器人的动作而变动的倒影，视觉效果看起来很自然。
AgiBot Digital World还能模拟出真实世界的物理效应，当机器人把小车放到篮子里时，触碰的时候两者也随之晃动。
AgiBot Digital World引入多模态大模型，支持基于资产库自动生成操作任务，以及基于指定任务自动生成操作场景和物体布局。该功能能可以根据实际训练需求，灵活创建多样化、复杂度可调的仿真任务与仿真环境，实现数据闭环。
比如在书房中，如果机器人想从桌面任务转向书架上的立面操作，那么可以一键召唤取书任务，系统将自动捕捉到环境中的书架。
而如果当前环境无法满足任务需求，比如缺少特定物体，那么系统也可自动调用资产库补充物体，或切换至适配场景。
二、全链路自动化生成数据，提升泛化性
AgiBot Digital World可以提供多元化专家轨迹生成策略，具体来说包括以下三方面：
- 真机操作数字孪生：支持真实机器人操作轨迹数据1:1映射到仿真环境中，用于生成更丰富的数据标签以及为数据增广提供专家示例轨迹。
- 具身智能体自动生成：AgiBot Digital World将多模态大模型与模块化机器人操作小模型结合构造机器人操作智能体，自动化生成机器人操作轨迹。
- 仿真遥操作：对于智能体难以处理的复杂任务，提供人机交互界面，允许操作者在仿真环境中通过遥操作的方式获取专家演示数据。
▲机器人正在执行“整理房间”任务的系列轨迹
仿真过程中，具身智能数据生成引擎可以进行环境光照、物体材质、物理属性域随机化，同时支持多种操作轨迹增强方式，以生成具有多样性和鲁棒性的专家轨迹数据，增强模型在真实环境中的泛化能力。
另外，数据生成引擎可以支持包括多视角RGB-D图像、触觉信息、机器人状态信息在内的等多模态数据，用于策略学习。
三、开源海量仿真数据，涵盖五大场景
智元这次开源的仿真数据涵盖家居、商超、办公、餐饮和工业这五大场景，其中家居场景最为丰富，占比36%；商超占比21%；其余场景各占14.3%。
物体细包括家用电器、衣物配饰、日杂用品等9大品类，包含超过180种具体物品；材质方面涵盖木质、地毯、石制等9种主要材料。此外，数据还囊括12种核心技能，如抓、放、插、倒等，灵活应对各种任务。
▲AgiBot Digital World Dataset物体数字资产分布
▲AgiBot Digital World Dataset操作任务分布
这些数据具有一系列特点：
- 质量高：提供的机器人操作数据质量高，可供端到端模型可靠训练。
- 泛化快：可支持实现光照、干扰物、平面位置、高度、背景和物体类别的快速泛化，提升模型在各种环境下表现。
- 任务多样：包含多个步骤的长程任务以及多技能组合的短程任务，适用于多技能训练和多任务泛化执行。
- 应用灵活：通过12种核心技能组合，数据集能灵活应对各种复杂任务，提升机器人操作的适应性和效率。
据了解，AgiBot Digital World后续还将进一步开放扩展，适配更多的机器人本体和执行器（包括夹爪、灵巧手）；并融合更多模态，包括深度噪声传感器仿真、触觉传感仿真等。
继去年12月份百万真机数据集开源项目AgiBot World之后，智元机器人这次又在具身智能数据方面进行开源行动，为各类场景应用提供了坚实的开发基础和广泛的应用可能性，助力实现多技能训练和多任务泛化执行。海量数据构建起的数据飞轮也有望降低行业研发门槛，极大程度地加速具身智能的开发和应用。
https://agibot-digitalworld.cn
https://huggingface.co/datasets/agibot-world/AgiBotDigitalWorld
