当地时间 2025 年 3 月 18日,曾在 2024 年 GTC 亮相的可爱 BDX 机器人再次登台和NVIDIA 创始人兼 CEO 黄仁勋互动,其动和行动似乎更加自然、灵活了,赚足了眼球。



会上,NVIDIA 还宣布推出一系列人形机器人全新技术。其中包括全球首个开源且完全可定制的基础模型 NVIDIA Isaac GR00T N1,该模型能够帮助通用人形机器人实现推理以及多项技能。

其他技术包括仿真框架和蓝图。比如用于生成合成数据的 NVIDIA Isaac GR00T Blueprint,再比如由NVIDIA和 Google DeepMind 及 Disney Research 共同开发的、专为机器人开发而构建的开源物理引擎 Newton。

黄仁勋表示,通用机器人的时代已经到来。借助 NVIDIA Isaac GR00T N1 以及新的数据生成框架和机器人学习框架,全球机器人开发者将能更好地投入研发。



GR00T N1:完全可定制,为人形机器人赋予通用技能与推理技能

受人类认知原理的启发,GR00T N1 基础模型采用双系统架构。其中,系统 1”是一个快速思考的动作模型,反映人类的本能反应或直觉。系统 2”是慢思考模型,用于进行经过深度思考的决策制定。

系统 2 由视觉语言模型提供支持,它会对所处环境和接收到的指令进行推理,从而规划行动。系统 1 随后将这些规划转化为精确、连续的机器人运动。其中,系统 1 基于人类演示数据和 NVIDIA Omniverse平台生成的海量合成数据进行训练。

GR00T N1 可以轻松适应并完成通用任务,比如单手抓取或双手抓取、移动物体、将物体从一只手臂转移到另一只手臂、执行需要长语境和通用技能组合的多步骤任务等。这些功能进而可被用于物品搬运、包装和检查等场景中。

与此同时,通过使用真实数据或合成数据,开发者和研究人员可以针对特定人形机器人或任务对 GR00T N1进行后训练。

在 GTC 主题演讲中,黄仁勋展示了 1X 的人形机器人自主执行室内清理任务的过程,该款机器人的自主能力是 1X 与 NVIDIA AI 训练协作的成果。据介绍,上述过程利用了基于 GR00T N1 的后训练策略。

1X Technologies 首席执行官 Bernt Børnich 表示,人形机器人的未来开发重点在于适应能力和学习能力”。 NVIDIA 的 GR00T N1 模型在机器人推理和技能方面实现了重大突破。仅需最少量的后训练数据,就能在 NEO Gamma 上全面部署,这进一步推进了1X Technologies 的业务使命。让其所研发的机器人不是工具而是伙伴。”

目前,全球其他优先使用 GR00T N1 的机器人公司包括 Agility Robotics、波士顿动力、Mentee Robotics 和 NEURA Robotics。

NVIDIA 还宣布,为了进一步为开发者社区提供有价值的训练数据,NVIDIA 将发布 GR00T N1 数据集,以此作为更大的开源物理 AI 数据集的一部分。目前,已能通过 Hugging Face 下载。

会上,NVIDIA 还宣布推出了 NVIDIA DGX Spark,这是一款个人 AI 超级计算机,其能为开发者提供一站式系统,可将 GR00T N1 的功能扩展到新机器人、任务和环境,而无需进行大量自定义编程。

NVIDIA GR00T N1 训练数据和任务评估场景目前已经可以通过 Hugging Face 和 GitHub 下载。用于合成运动生成的 NVIDIA Isaac GR00T Blueprint 现在也以交互式演示形式在build.nvidia.com 展示,也可以通过 GitHub 下载。

未来,NVIDIA 将对这一系列模型进行预训练,并面向全球机器人开发者发布。对于那些受全球劳动力短缺困扰的行业而言,劳动力缺口预计超过 5 000 万,而这一模型的推出将有助于加速这些行业的转型。

Newton:新一代开源物理引擎

会上NVIDIA 还宣布与 Google DeepMind 和 Disney Research 合作,共同开发开源物理引擎 Newton,其能让机器人学会以更高的精度处理复杂任务。

Newton 基于 NVIDIA Warp 框架构建,将针对机器人学习进行优化,并与 Google DeepMind MuJoCo 和 NVIDIA Isaac™ Lab 等仿真框架兼容。此外,这三家公司还将尝试让 Newton 能够利用迪士尼的物理引擎。

眼下,Google DeepMind 正在和 NVIDIA 合作开发 MuJoCo-Warp,预计将机器人机器学习工作负载处理速度提升至 70 倍以上,并将通过 Google DeepMind 的 MJX 开源库和 Newton 提供给开发者。

另据悉,Disney Research 将成为首批使用 Newton 以推动其机器人角色平台发展的公司之一。“我们致力于以前所未有的方式,为更多角色赋予生命,而与 Disney Research、NVIDIA 和 Google DeepMind 的合作是实现这一愿景的关键,””Walt Disney 想象工程研发部门高级副总裁 Kyle Laughlin 说。

NVIDIA 还将和 Disney Research 及 Intrinsic 进一步合作,为机器人数据流构建 OpenUSD 管线和最佳实践。另据悉,Newton 物理引擎预计将在今年晚些时候推出。

用更多数据推动机器人后训练发展

大型、多样化且高质量的数据集对机器人开发至关重要,但捕获成本高昂。在真实世界中,每人一天只有 24 小时,由此产生的人类演示数据,对于人形机器人来说是远远不够的。

NVIDIA此次发布的用于合成运动生成的 NVIDIA Isaac GR00T Blueprint 有助于应对这一挑战。该蓝图基于 Omniverse 和 NVIDIA Cosmos Transfer 世界基础模型构建,让开发者可以通过少量的人工演示生成大量合成运动数据,以用于操作任务。

利用为本次蓝图提供的首批组件,NVIDIA 能够在短短 11 小时内生成 780000 个合成轨迹,相当于 6500 小时或连续九个月的人类演示数据。然后,通过将合成数据与真实数据相结合,与仅使用真实数据相比,NVIDIA 将 GR00T N1 的性能提高了 40%。

NVIDIA与 GE 医疗合作,通过引入物理 AI 推进自主诊断成像开发

与此同时,NVIDIA 宣布与 GE 医疗合作,共同推进自主成像技术创新,重点开发自主 X 射线技术与超声应用。

为在 X 射线和超声等系统中实现自主性,医疗成像系统需理解物理世界并自主操作,从而自动化复杂工作流,如患者定位、扫描与质量检测等。

为了实现这一目标,GE 医疗正在采用全新的 NVIDIA Isaac™ for HealthCare 医疗设备仿真平台。该平台包含预训练模型及基于物理的传感器、解剖结构与环境仿真,能够加速研发流程,使 GE 医疗能够在部署前通过虚拟环境训练、测试与验证自主成像系统能力。

“医疗行业是 AI 最重要的应用领域之一,当前医疗服务需求远超供给。”NVIDIA 医疗健康副总裁 Kimberly Powell 表示,“我们正与行业领先企业 GE 医疗合作,通过 Isaac for Healthcare 的三台计算机为能够挽救生命的医疗设备赋予自主能力,助力全球医疗服务普及。”

超声与 X 射线是最常见且广泛使用的诊断成像系统,然而全球近三分之二的人口却无法获得享受到此类检查服务。如果能为成像系统增加机器人能力,将有助于扩大医疗服务覆盖范围。

NVIDIA 与 GE 医疗已合作近二十年,在CT、MRI、影像引导治疗与乳腺成像等领域共同开发创新影像重建技术。

“GE 医疗致力于通过创新技术重新定义患者护理并提升护理体验。”GE 医疗影像业务总裁兼首席执行官 Roland Rott 表示,“我们期待借助由 NVIDIA技术 支持的物理 AI 开发自主成像系统,改善患者就诊体验,应对医疗行业日益增长的工作量与人力短缺挑战。”

NVIDIA 推出Isaac for Healthcare:弥合仿真与现实的鸿沟

Isaac for Healthcare 是基于 NVIDIA 三大机器人计算平台(NVIDIA DGX™,NVIDIA Omniverse™ 以及 NVIDIA Holoscan)构建的物理 AI 平台,现已开放提前试用。其包含专为医疗机器人优化的 AI 模型,可以通过增强视觉与语言处理能力实现理解、行动与观察功能。该平台还提供了仿真框架,让开发者能够精确针对医疗环境进行仿真,并能通过边缘 AI 计算平台 NVIDIA Holoscan 实现机器人的实时决策。

此前,医疗传感器的仿真选项通常有限。而借助 Isaac for Healthcare,开发者可以访问基于物理的医疗环境数字孪生,导入定制传感器、器械甚至解剖结构,借此将机器人训练得能够应对多样化场景。

Isaac for Healthcare 支持从微观结构、手术室到完整医院设施的多尺度仿真。通过仿真策略训练,机器人系统可学习如何在手术室的各种医疗场景中做出反应,以及如何以最佳方式辅助医生做出决策和为患者提供护理服务。

据了解,NVIDIA 还将通过 Isaac for Healthcare 支持客户构建仿真环境用例。对于仿真环境使机器人系统来说,它能在物理精确的虚拟环境中安全学习技能,以便应对手术等难以复现的现实场景。

Isaac for Healthcare 通过仿真复杂医疗场景、训练 AI 模型及优化手术、内窥镜与心血管介入等机器人应用,能够加速医疗机器人解决方案的开发。目前,包括Moon Surgical、Neptune Medical 与 Xcath在内的机构已经提前开始使用这一平台。

该平台还支持生态合作伙伴将其仿真工具、传感器、机器人系统与医疗探针无缝集成至专用仿真环境。目前,包括 Ansys、Franka、ImFusion、Kinova 与 Kuka 在内的生态合作伙伴已经提前开始部署这一功能。



总的来说,通过持续投入AI领域和机器人领域,NVIDIA 将实现更加多元的技术布局,也将更好地以润物细无声的让更多人享受到AI技术的便利。

ad1 webp
ad2 webp
ad1 webp
ad2 webp