NVIDIAがGR00T 2ロボット基礎モデルを発表、人間のデモを通じて迅速にスキルを学習可能

·著者 Henderson·Engineering
NVIDIAがGR00T 2ロボット基礎モデルを発表、人間のデモを通じて迅速にスキルを学習可能
ポイント
  • GR00T 2は人間のデモンストレーションから未実施の機械タスクにスキルを移転できる。
  • このモデルの成功率は微調整後に95%に達する。
  • クロスアダプテーション技術により、ロボットは異なるデバイスのデモからスキルを学習できる。
  • GR00T 2 Turboは人型ロボット向けに設計された小型バージョンで、実行速度が向上している。

NVIDIAは新世代のロボット基礎モデルGR00T 2を発表した。このモデルは、人間がデモンストレーションしたスキルを、これまでそのタスクを行ったことのない機械に移転することができる。GR00T 2はグローバルな行動モデルとして、未来の映像とロボットの動作を同時に予測することができ、物理的な相互作用の展開過程を学習し、タスクを完了するために必要な動作を計算することができる。このモデルは、平行クランプアーム、巧妙な五指の手、人型ロボットなど、さまざまなロボット形状に適用可能である。NVIDIAは、GR00T 2が人間の映像、ハンドヘルドクランプ、他のロボットから収集したデモを通じて学習できると述べている。

50の未デモンストレーションのタスクを対象としたテストにおいて、GR00T 2の平均成功率は40%に達し、特定のタスクの訓練なしで実施された。各タスクに対して5回のデモを提供し、30分の微調整を経て成功率は95%に向上した。これらのデモに必要なロボットデータは、各タスクにつき3分未満であった。

クロスアダプテーション技術の応用

NVIDIAはこの手法をクロスアダプテーション(cross-adaptation)、略してX-Adaptと呼び、ロボットが異なる形状やデバイスのデモからスキルを移転できることを可能にしている。ある実験では、研究者がロボットに対してフィルター紙を使って実験室の漏斗を排出し、洗瓶で湿らせる方法をデモンストレーションした。このデモは人間によってのみ行われ、対象のロボットには遠隔操作が行われなかったが、結果として五指ロボットは65%の試験でタスクを成功裏に完了した。別のテストでは、ハンドヘルドユニバーサル操作インターフェース(UMI)クランプが玩具のダンプトラックを組み立てる方法をデモンストレーションし、その後、YAMという名のロボットアームが60%の試験で組み立てを完了したが、特定のタスクのデモを受けたことはなかった。

研究者たちはまた、人間の指の動作を模倣できるウェアラブルデバイスを使用し、ロボットに手を使った二手のタスクを教えた。これには、バナナヨーグルトの製造、オートミールの掘り起こし、マッチを点火して照明を点けることが含まれる。このモデルの訓練には、402,730時間の第一人称の人間映像、10,184時間のハンドヘルドクランプのデモ、23,500時間のロボットの遠隔操作データが組み合わされている。NVIDIAは、そのHuman-1Mデータセットの100,000時間のデータが公開利用可能であると述べている。

GR00T 2 Turboの特徴

GR00T 2は推論モデルと協力し、複雑なタスクをステップに分解し、進捗を監視し、APIを通じてロボットを誘導することもできる。3つの玩具の組み立てを含むテストでは、この方法により各玩具の100回の試験のうち少なくとも97回が完了した。このシステムは、プロセス中のエラーや中断から回復することができる。また、視覚誘導機能により、推論モデルはロボットが物体を掴むべき位置と放すべき位置をマークし、YAMにおける物体移動を伴う短いタスクの成功率を40%から92%に引き上げた。

NVIDIAはまた、GR00T 2 Turboを開発した。これは人型ロボット向けに設計された小型バージョンで、より高速な実行を実現することを目的としている。このモデルはUnitree G1上で直接動作し、内蔵のJetson Thorプロセッサを使用しており、各予測に124ミリ秒を要する。全身コントローラーを通じて、この人型ロボットは48回の試験すべてでポップコーンを提供するタスクを成功裏に完了し、93%の試験で異なる物体のデスクを掃除した。

NVIDIAは11月9日にテキサス州オースティンで開催されたロボティクス学習会議でGR00T 2を紹介した。同社は、このモデルがロボットに狭い訓練の動作を超えて、より適応的な操作を行う手助けをすることを目指していると述べており、工業および日常環境に適用可能である。

項目仕様
訓練データ402,730時間の人間映像、10,184時間のハンドヘルドクランプデモ、23,500時間のロボット遠隔操作データ
予測時間124ミリ秒
成功率(微調整後)95%

GR00T 2がロボットの学習方法を変える

NVIDIAのGR00T 2モデルは、特にスキル移転の面でロボット学習の重要な進展を示している。人間のデモを通じて、ロボットは新しいタスクを迅速に学習でき、これにより効率が向上し、ロボットの応用範囲が拡大する。クロスアダプテーション技術の導入により、異なる形状のロボットが学習経験を共有できるようになり、今後のロボットの協力と自律性の発展に重要な意味を持つ。また、GR00T 2 Turboの登場は、NVIDIAが人型ロボットの性能を重視していることを示しており、今後の工業および日常生活における応用の可能性は大きい。

H
著者について
Henderson