- GR00T 2 能将人类示范的技能转移至未进行过的机器任务。
- 该模型的成功率在微调后可达到95%。
- 跨适应技术允许机器人从不同设备的示范中学习技能。
- GR00T 2 Turbo是专为人形机器人设计的较小版本,执行速度更快。
NVIDIA宣布推出新一代机器人基础模型GR00T 2,该模型能够将人类示范的技能转移至从未进行过这些任务的机器上。作为一个全球行动模型,GR00T 2可同时预测未来的影片和机器人动作,这使得它能够学习物理互动的展开过程,并计算完成任务所需的动作。该模型设计上可适用于不同的机器人形态,包括平行夹爪臂、灵巧的五指手和人形机器人。NVIDIA表示,GR00T 2能够从人类影片、手持夹具以及通过其他机器人收集的示范中学习。
在涉及50项未在目标机器人上示范的任务测试中,GR00T 2的平均成功率达到40%,而无需特定任务的训练。为每项任务提供五次示范,经过30分钟的微调后,成功率提升至95%。这些示范每项任务所需的机器人数据少于三分钟。
跨适应技术的应用
NVIDIA将这种方法称为跨适应(cross-adaptation),简称X-Adapt,允许机器人从不同形态或设备的示范中转移技能。在一项实验中,研究人员向机器人示范如何用滤纸排放实验室漏斗并用洗瓶湿润。该示范仅由人类进行,未对目标机器人进行远程操作,结果五指机器人在65%的试验中成功完成任务。在另一项测试中,手持通用操作界面(UMI)夹具示范了如何组装玩具自卸卡车,随后另一个名为YAM的机器人臂在60%的试验中完成了组装,尽管从未接受过特定任务的示范。
研究人员还使用了一种可穿戴设备,该设备能够模仿人类手指的动作,教导机器人手完成双手任务,包括制作香蕉酸奶、挖取燕麦,以及点燃火柴点亮灯具。该模型的训练结合了402,730小时的第一人称人类影片、10,184小时的手持夹具示范以及23,500小时的机器人远程操作数据。NVIDIA表示,其Human-1M数据集的100,000小时资料是公开可用的。
GR00T 2 Turbo的特点
GR00T 2也能与推理模型协作,将复杂任务拆解为步骤、监控进度,并通过应用程序接口引导机器人。在涉及三个玩具组装的测试中,这种方法在每个玩具的100次试验中至少完成97次。该系统能够从过程中的错误和中断中恢复。此外,视觉引导功能让推理模型标记机器人应该抓取和释放物体的位置,这使得在YAM上涉及移动物体的短任务成功率从40%提升至92%。
NVIDIA还开发了GR00T 2 Turbo,这是一个专为人形机器人设计的较小版本,旨在实现更快的执行速度。该模型直接运行于Unitree G1,使用内建的Jetson Thor处理器,每次预测耗时124毫秒。通过全身控制器,该人形机器人在所有48次试验中成功完成了提供爆米花的任务,并在93%的试验中清理了不同物体的桌面。
NVIDIA在11月9日于德克萨斯州奥斯汀举行的机器人学习会议上介绍了GR00T 2。该公司表示,该模型旨在帮助机器人超越狭隘训练的动作,朝向更具适应性的操作,适用于工业和日常环境。
项目 规格 训练数据 402,730小时人类影片、10,184小时手持夹具示范、23,500小时机器人远程操作数据 预测时间 124毫秒 成功率(微调后) 95%
GR00T 2如何改变机器人学习方式
NVIDIA的GR00T 2模型代表了机器人学习的一个重大进步,特别是在技能转移方面。通过人类示范,机器人能够快速学习新任务,这不仅提升了效率,也扩展了机器人的应用范围。跨适应技术的引入,让不同形态的机器人能够共享学习经验,这对于未来的机器人协作与自主性发展具有重要意义。此外,GR00T 2 Turbo的推出,显示出NVIDIA对于人形机器人性能的重视,未来在工业及日常生活中的应用潜力巨大。

