Xiaomi Auto World Model – 小米推出的輔助駕駛世界模型

Xiaomi Auto World Model是什麼

Xiaomi Auto World Model 是小米汽車推出的輔助駕駛世界模型，首次將三維重建（WorldRec）與視頻生成（WorldGen）深度耦合。WorldRec 用稀疏 3D 錨點實現 10 秒視頻 10 秒快速重建，WorldGen 通過兩階段訓練與 ODE 蒸餾實現 4 步去噪、0.19 秒/幀生成，支持最長 1 分鐘視頻。在 Waymo 重建精度（PSNR 28.48）與 nuScenes 生成質量（FVD 64.97）上均達 SOTA，已落地合成數據、仿真測試、輔助駕駛學堂三大業務場景。

Xiaomi Auto World Model的主要功能

• WorldRec 三維重建模塊：採用稀疏 3D 查詢錨點替代傳統稠密高斯，實現多視角多時刻特徵聚合與可見性加權融合，10 秒視頻重建僅需 10 秒，消除多視角衝突與鬼影問題。
• WorldGen 視頻生成模塊：基於全雙向時序注意力預訓練+因果微調兩階段訓練，通過 ODE 蒸餾將去噪步數從 50 步壓縮至 4 步，0.19 秒/幀生成未來幀、未觀測視角與遮擋區內容，支持最長 81 幀（約 1 分鐘）連續生成。
• 重建-生成深度耦合：重建側提供 3D 幾何先驗約束生成穩定性，生成側擴展重建邊界至未觀測時空區域，兩者互相校正抑制長時序漂移。
• 極端場景生成：支持暴雨、大雪、濃霧等極端天氣及動物闖入等長尾危險場景的高質量合成，爲感知模型訓練提供稀缺數據。
• 三大業務落地：合成數據生成（已交付 10 萬+ clips）、閉環仿真測試（復現真實事故定向優化）、輔助駕駛學堂（動態生成第一人稱駕駛教學視頻）。

Xiaomi Auto World Model的技術原理

• WorldRec 稀疏錨點表徵：摒棄逐像素預測高斯範式，改用稀疏三維查詢點作爲場景表徵，每個錨點主動聚合多相機多時刻特徵，通過可見性加權自動篩選可靠觀測，從源頭保證跨視角一致性。
• 4D Gaussian 全局表示：維護隨觀測增量擴展的 4D 高斯場景表示，投影到自車視角後作爲渲染先驗輸入生成模型，爲生成提供確定性幾何約束。
• WorldGen 兩階段訓練：第一階段全雙向時序注意力預訓練建立駕駛場景時空全局理解；第二階段因果注意力微調+教師強制（Teacher Forcing），配合 ODE 蒸餾提速 12 倍，分佈匹配蒸餾解決暴露偏差。
• 重建-生成閉環約束：重建的確定性幾何先驗持續校正生成過程，生成補全重建覆蓋不到的時空區域，兩者目標函數在結構上互相約束，實現高穩定性、高一致性、高真實性。

如何使用Xiaomi Auto World Model

• 上線平台：已上線小米全車型的「輔助駕駛學堂 – 實景模擬場景」。
• 使用條件：需擁有小米汽車（SU7 等車型），在車載系統中進入輔助駕駛學堂模塊。

Xiaomi Auto World Model的核心優勢

• SOTA 性能：Waymo 重建 PSNR 28.48（超 DGGT 約 1 個點），nuScenes 零樣本泛化 PSNR 26.54 同樣領先；生成側 FVD 64.97 超越所有雙向與自迴歸基線模型。
• 極速推理：單視角生成 0.19 秒/幀，三視角 0.46 秒/幀，較同類自迴歸方法 Epona（1.06 秒/幀）快 5.6 倍。
• 超長時序：支持 81 幀連續生成（10Hz/30Hz，最長 1 分鐘），遠超公開基線模型的 8-16 幀限制。
• 零樣本泛化：nuScenes 零樣本測試仍保持領先，證明對新場景具備強適應能力。
• 已落地生產：已在小米汽車合成數據、仿真測試、智能座艙三大核心場景完成業務閉環。

Xiaomi Auto World Model的項目地址

• 項目官網：https://JointWM.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2605.18137

Xiaomi Auto World Model的同類競品對比

Xiaomi Auto World Model的應用場景

• 合成數據生成：爲輔助駕駛感知模型訓練提供高質量、高多樣性、高危險性的長尾場景合成數據，解決真實世界中稀缺場景樣本不足問題。
• 仿真測試：構建閉環仿真環境，復現真實事故場景進行定向優化，提升測試效率與完備性，降低實車測試成本與風險。
• 輔助駕駛學堂：在智能座艙中動態生成第一人稱駕駛教學視頻，針對複雜路況向用戶展示正確操作，提升人機共駕安全性與用戶體驗。