ACE-Ego – 大曉機器人聯合港中文開源的具身操作 VLA 模型

ACE-Ego是什麼

ACE-Ego 是大曉機器人聯合港中文 MMLab 開源的一腦多型具身操作 VLA 模型。模型用 6.0K+ 小時人類第一視角視頻爲核心進行預訓練，通過相機空間動作與形態條件編碼，使同一模型可適配不同機器人本體。在 RoboCasa GR1 TableTop 基準上以 72.8% 刷新 SOTA，能穩定完成塑料袋打包、鞋盒裝鞋等複雜零售操作，大幅降低多本體部署成本。

ACE-Ego的主要功能

• 一腦多型適配：同一 VLA 模型通過形態條件編碼適配不同機器人本體，無需爲每台機器人單獨訓練。
• 複雜操作執行：支持長週期、強接觸的零售操作，如塑料袋打包、鞋子裝入鞋盒等精細任務。
• 雙臂協調控制：在高難度雙臂操作基準 RoboTwin 2.0 中實現 90.62% 成功率，支持複雜雙手協作。
• 開源生態開放：模型與相關資源向行業開源，降低具身智能研發門檻。

ACE-Ego的技術原理

• 以人爲中心的預訓練：整合 6.0K+ 小時人類第一視角視頻、多本體機器人演示與仿真數據進行預訓練，用人類日常操作視頻建立通用操作表徵，通過少量機器人數據微調實現技能遷移。
• 相機空間動作：將動作預測統一到相機座標系下，消除不同機器人本體和相機視角差異帶來的動作空間不一致問題，使模型能跨形態輸出統一的動作指令。
• 形態條件編碼：通過編碼機器人形態信息，如關節結構、自由度配置，讓模型理解不同本體的物理約束，在同一模型內適配多種機器人硬件。
• 可靠性感知訓練：引入可靠性評估機制，在訓練過程中區分高置信度與低置信度動作預測，提升模型在複雜接觸操作中的穩定性和安全性。

微信關注回覆 “開源”，加入AI開源項目交流羣

如何使用ACE-Ego

• 環境準備：克隆官方 GitHub 倉庫並安裝 Python 依賴環境，確保系統支持 PyTorch 與 CUDA。
• 模型下載：從開源渠道獲取 ACE-Ego 預訓練權重文件，加載以人爲中心預訓練的 VLA 基礎模型。
• 本體配置：通過形態條件編碼接口錄入目標機器人的 URDF 結構、關節自由度與相機參數，完成一腦多型適配。
• 相機標定：對機器人搭載的 RGB-D 相機進行內外參標定，建立統一的相機空間動作座標系。
• 數據微調（可選）：針對特定任務採集少量機器人演示數據，結合人類視頻預訓練權重進行輕量級微調。
• 視覺輸入：將機器人實時相機畫面與語言指令，如”把鞋子裝進鞋盒”輸入模型。
• 動作推理：模型輸出相機空間下的末端執行器動作序列，包含位置、姿態與夾爪開合度。
• 映射執行：將相機空間動作指令轉換爲目標機器人本體的關節控制信號，驅動硬件完成操作。
• 可靠性校驗：啓用可靠性感知模塊過濾低置信度動作，確保長週期複雜操作的安全穩定執行。

ACE-Ego的核心優勢

• 性能領先：RoboCasa GR1 TableTop 72.8% 刷新 SOTA，大幅超越 π0.5（37.0%）、GR00T-N1.6（47.6%）等主流模型。
• 跨形態泛化：一腦多型架構支持同一模型適配不同機器人，降低多本體部署成本。
• 複雜任務能力：在強接觸、長週期零售操作中表現穩定，覆蓋商品整理到打包履約全鏈路。
• 數據效率高：基於人類視頻預訓練，減少對昂貴機器人演示數據的依賴。

ACE-Ego的項目地址

• 項目官網：https://acerobotics-vla.github.io/ACE-Ego/
• GitHub倉庫：https://github.com/ACERobotics-VLA/ACE-Ego-0
• 技術論文：https://acerobotics-vla.github.io/ACE-Ego-0/paper.html

ACE-Ego的同類競品對比

ACE-Ego的應用場景

• 零售履約：超市、便利店等場景中的商品整理、塑料袋打包、鞋盒裝鞋等線下零售操作自動化。
• 物流倉儲：倉庫內物品分揀、裝箱、碼垛等需要強接觸操作的物流環節智能化。
• 家庭服務：家庭環境中的物品收納、整理、簡單清潔等日常家務操作輔助。
• 商業服務：商場、酒店、餐廳等場景中的物品搬運、陳列維護與檯面整理。
• 工業製造：生產線上的零部件裝配、工具取放、物料轉移等精細工業操作。