- GR00T 2 能將人類示範的技能轉移至未進行過的機器任務。
- 該模型的成功率在微調後可達到 95%。
- 跨適應技術允許機器人從不同設備的示範中學習技能。
- GR00T 2 Turbo 是專為人形機器人設計的較小版本,執行速度更快。
NVIDIA 宣佈推出新一代機器人基礎模型 GR00T 2,該模型能夠將人類示範的技能轉移至從未進行過這些任務的機器上。作為一個全球行動模型,GR00T 2 可同時預測未來的影片和機器人動作,這使得它能夠學習物理互動的展開過程,並計算完成任務所需的動作。該模型設計上可適用於不同的機器人形體,包括平行夾爪臂、靈巧的五指手和人形機器人。NVIDIA 表示,GR00T 2 能夠從人類影片、手持夾具以及通過其他機器人收集的示範中學習。
在涉及 50 項未在目標機器人上示範的任務測試中,GR00T 2 的平均成功率達到 40%,而無需特定任務的訓練。為每項任務提供五次示範,經過 30 分鐘的微調後,成功率提升至 95%。這些示範每項任務所需的機器人數據少於三分鐘。
跨適應技術的應用
NVIDIA 將這種方法稱為跨適應(cross-adaptation),簡稱 X-Adapt,允許機器人從不同形體或設備的示範中轉移技能。在一項實驗中,研究人員向機器人示範如何用濾紙排放實驗室漏斗並用洗瓶濕潤。該示範僅由人類進行,未對目標機器人進行遠程操作,結果五指機器人在 65%的試驗中成功完成任務。在另一項測試中,手持通用操作介面(UMI)夾具示範瞭如何組裝玩具自卸卡車,隨後另一個名為 YAM 的機器臂在 60%的試驗中完成了組裝,儘管從未接受過特定任務的示範。
研究人員還使用了一種可穿戴設備,該設備能夠模仿人類手指的動作,教導機器人手完成雙手任務,包括製作香蕉酸奶、挖取燕麥,以及點燃火柴點亮燈具。該模型的訓練結合了 402,730 小時的第一人稱人類影片、10,184 小時的手持夾具示範以及 23,500 小時的機器人遠程操作數據。NVIDIA 表示,其 Human-1M 數據集的 100,000 小時資料是公開可用的。
GR00T 2 Turbo 的特點
GR00T 2 也能與推理模型協作,將複雜任務拆解為步驟、監控進度,並通過應用程式介面引導機器人。在涉及三個玩具組裝的測試中,這種方法在每個玩具的 100 次試驗中至少完成 97 次。該系統能夠從過程中的錯誤和中斷中恢復。此外,視覺引導功能讓推理模型標記機器人應該抓取和釋放物體的位置,這使得在 YAM 上涉及移動物體的短任務成功率從 40%提升至 92%。
NVIDIA 還開發了 GR00T 2 Turbo,這是一個專為人形機器人設計的較小版本,旨在實現更快的執行速度。該模型直接運行於 Unitree G1,使用內建的 Jetson Thor 處理器,每次預測耗時 124 毫秒。透過全身控制器,該人形機器人在所有 48 次試驗中成功完成了提供爆米花的任務,並在 93%的試驗中清理了不同物體的桌面。
NVIDIA 在 11 月 9 日於德克薩斯州奧斯汀舉行的機器人學習會議上介紹了 GR00T 2。該公司表示,該模型旨在幫助機器人超越狹隘訓練的動作,朝向更具適應性的操作,適用於工業和日常環境。
項目 規格 訓練數據 402,730 小時人類影片、10,184 小時手持夾具示範、23,500 小時機器人遠程操作數據 預測時間 124 毫秒 成功率(微調後) 95%
GR00T 2 如何改變機器人學習方式
NVIDIA 的 GR00T 2 模型代表了機器人學習的一個重大進步,特別是在技能轉移方面。透過人類示範,機器人能夠快速學習新任務,這不僅提升了效率,也擴展了機器人的應用範疇。跨適應技術的引入,讓不同形體的機器人能夠共享學習經驗,這對於未來的機器人協作與自主性發展具有重要意義。此外,GR00T 2 Turbo 的推出,顯示出NVIDIA 對於人形機器人性能的重視,未來在工業及日常生活中的應用潛力巨大。

