HOVER – 英偉達推出的通用人形機器人功能控制器1.5M小模型

HOVER是什麼

HOVER是英偉達推出的1.5M小模型，全稱爲“Humanoid Versatile Controller”，即人形機器人的多功能全身神經通用控制器。模型用150萬參數實現對機器人複雜動作的控制，能適應多樣任務如導航、桌面操作和移動操作等，每種任務需要獨特的控制模式。HOVER的核心創新在於用全身運動模仿作爲各種任務的通用抽象，提供通用的運動技能，用在學習多種全身控制模式。基於多模式策略蒸餾框架將不同控制模式整合到統一的策略中，實現模式間的無縫切換，且保留每種模式的優勢，提高未來人形機器人應用的效率和靈活性。

HOVER的主要功能

• 多模式控制：HOVER能無縫切換不同的控制模式，如導航、桌面操作和移動操作等，每種模式都有特定的控制需求。
• 運動學位置跟蹤：HOVER支持對機器人關鍵部位的3D位置進行跟蹤，實現精確的運動複製。
• 關節角度跟蹤：HOVER能跟蹤每個機器人電機的目標關節角度，實現複雜的肢體動作。
• 根跟蹤：HOVER能跟蹤機器人的根速度、高度和方向，對保持平衡和執行動態動作至關重要。
• 統一命令空間：HOVER設計統一的命令空間，適應各種控制設備，如操縱桿、動作捕捉系統、外骨骼和虛擬現實頭設。
• 策略蒸餾：HOVER從Oracle策略中提取和蒸餾，將多種控制技能整合到單一的“通用策略”中，提高效率和靈活性。

HOVER的技術原理

• 本體感覺和命令屏蔽：HOVER基於本體感覺（機器人自身的狀態感知）和命令屏蔽（選擇性激活不同的命令空間）確定任務命令，支持獨立控制機器人的上半身和下半身。
• 多模式策略蒸餾框架：HOVER用策略蒸餾技術，將從大規模人類運動數據中學習到的Oracle策略轉化爲能處理多種控制模式的單一策略。
• DAgger框架：HOVER採用DAgger（Dataset Aggregation）框架對齊學生策略和Oracle策略的動作，基於監督學習優化學生策略。
• 模擬訓練：HOVER的訓練在NVIDIA Isaac模擬套件中進行，套件基於GPU加速，能快速模擬長時間的訓練，將模型遷移到現實世界中，無需額外的微調。
• 統一命令空間設計：HOVER的命令空間設計既通用又原子，能覆蓋大多數現有的控制配置，且能任意組合支持各種模式。
• 運動重定向：HOVER能將人類動作數據集重定向爲機器人動作數據集，基於匹配關鍵點和優化參數實現。

HOVER的項目地址

• 項目官網：hover-versatile-humanoid.github.io
• arXiv技術論文：https://arxiv.org/pdf/2410.21229

HOVER的應用場景

• 導航與移動：HOVER能控制人形機器人在複雜環境中進行導航和移動，如在不平坦的地面上行走或在狹窄的空間中穿梭，適於搜索救援、導覽服務等場景。
• 桌面操作：在需要精細操作的桌面任務中，如組裝電子元件或進行實驗室工作，HOVER能精確控制機器人的上肢和手部關節，實現複雜的手眼協調操作。
• 移動操作（Loco-manipulation）：結合移動與操作的任務，例如在移動過程中抓取和搬運物體，HOVER能協調機器人的全身動作，實現流暢的搬運和操作任務。
• 人機交互：HOVER支持各種輸入設備（如VR頭盔、動作捕捉系統、外骨骼）進行人機交互，讓機器人能模仿人類的動作和行爲，適於娛樂、教育和培訓等領域。
• 遠程操作與仿真：在遠程操作場景中，HOVER能實時響應操作者的指令，執行精確的遠程任務，如遠程手術輔助或危險環境作業。