NVIDIA发布全球首个开源人形机器人基础模型IsaacGR00TN1

科技有点奇谱 2025-03-21 20:16:41

NVIDIA推出全球首个开源且完全可定制的人形机器人基础模型 NVIDIA Isaac GR00T N1,以及一系列全新技术。该模型可赋能通用人形机器人实现推理及各项技能。在 GTC 主题演讲中, NVIDIA 创始人兼 CEO 黄仁勋表示,通用机器人的时代已经到来。借助NVIDIA Isaac GR00T N1以及新的数据生成和机器人学习框架,全球机器人开发者将开启AI时代的全新篇章。

其他技术包括仿真框架和蓝图,如用于生成合成数据的NVIDIA Isaac GR00T Blueprint,以及和 Google DeepMind 及 Disney Research 共同开发的、专为机器人开发而构建的开源物理引擎 Newton。

GR00T N1是NVIDIA一系列可完全定制模型中的首个模型。NVIDIA 将对这一系列模型进行预训练,并面向全球机器人开发者发布。GR00T N1基础模型采用双系统架构。“系统 1”是一个快速思考的动作模型,反映人类的本能反应或直觉。“系统 2”是慢思考模型,用于进行经过深度思考的决策制定。

系统 2 由视觉语言模型提供支持,它会对所处环境和接收到的指令进行推理,从而规划行动。系统 1 随后将这些规划转化为精确、连续的机器人运动。系统 1 基于人类演示数据和 NVIDIA Omniverse平台生成的海量合成数据进行训练。

GR00T N1 可轻松适应并完成通用任务,如单手或双手抓取、移动物体,将物体从一只手臂转移到另一只手臂,或执行需要长语境和通用技能组合的多步骤任务。这些功能可应用于物品搬运、包装和检查等各种使用场景中。

开发者和研究人员可以使用真实数据或合成数据针对特定人形机器人或任务对 GR00T N1进行后训练。

在GTC主题演讲中,黄仁勋展示了 1X 的人形机器人自主执行室内清理任务的过程,该过程利用了基于GR00T N1的后训练策略。该款机器人的自主能力是1X与NVIDIA AI训练协作的成果。

全球其他优先使用 GR00T N1 的领先机器人公司包括 Agility Robotics、波士顿动力、Mentee Robotics 和 NEURA Robotics。

NVIDIA 还宣布与Google DeepMind和Disney Research合作,共同开发开源物理引擎 Newton,可让机器人学习如何以更高的精度处理复杂任务。

Newton 基于NVIDIA Warp框架构建,将针对机器人学习进行优化,并与Google DeepMind MuJoCo和NVIDIA Isaac Lab等仿真框架兼容。此外,三家公司还计划让 Newton 能够利用迪士尼的物理引擎。

Google DeepMind正在和NVIDIA合作开发MuJoCo-Warp,预计将机器人机器学习工作负载处理速度提升至 70 倍以上,并将通过 Google DeepMind 的 MJX 开源库和 Newton 提供给开发者。

Disney Research将成为首批使用Newton以推动其机器人角色平台发展的公司之一,该平台为下一代娱乐机器人提供支持,比如此次 GTC 主题演讲中和黄仁勋一起登台、以星球大战为灵感设计的富有表现力的 BDX 机器人,就是该平台的成果。

NVIDIA 还将和 Disney Research 及 Intrinsic 进一步合作,为机器人数据流构建 OpenUSD 管线和最佳实践。

大型、多样化且高质量的数据集对机器人开发至关重要,但捕获成本高昂。此次发布的用于合成运动生成的NVIDIA Isaac GR00T Blueprint有助于应对这一挑战。该蓝图基于Omniverse 和NVIDIA Cosmos Transfer世界基础模型构建,让开发者可以通过少量的人工演示生成大量合成运动数据,以用于操作任务。

利用为蓝图提供的首批组件,NVIDIA 能够在11 小时内生成 780,000 个合成轨迹,相当于 6,500 小时或连续9个月的人类演示数据。然后,通过将合成数据与真实数据相结合,与仅使用真实数据相比,NVIDIA 将 GR00T N1 的性能提高了 40%。

GTC 上还宣布,为了进一步为开发者社区提供有价值的训练数据,NVIDIA 将发布 GR00T N1 数据集,作为更大的开源物理AI数据集的一部分,现在可通过Hugging Face下载。

0 阅读:0

科技有点奇谱

简介:感谢大家的关注