MoWorld – 魔芯科技推出的全球首個高幀率交互式世界模型

AI工具8小時前發佈新公告 AI管理員
0 0

MoWorld是什麼

MoWorld 是魔芯科技推出的全球首個高幀率交互式世界模型,基於純國產華爲昇騰 NPU 全棧優化,實現最高 50 FPS 實時推理,成本較 GPU 降低 70%。模型支持精確相機軌跡控制與 4D 空間感知,可生成長時程、空間一致的城市/室內/駕駛等大尺度場景視頻。MoWorld 適用影視預演、實時雲遊戲、具身仿真、自動駕駛及 3D 場景重建。

MoWorld – 魔芯科技推出的全球首個高幀率交互式世界模型

MoWorld的主要功能

  • 高幀率實時交互:最高支持 50 FPS 實時推理,將世界模型從非實時生成帶入實時交互時代。
  • 4D 世界建模:模型融合精確相機軌跡與空間幾何信息,實現帶空間感知的 4D 動態世界模擬。
  • 長時程空間一致性:在城市、高速公路、沙漠等大尺度鳥瞰場景中,保持建築佈局、道路走向和遠景細節的穩定,跨視角幾何關係不漂移。
  • 相機-劇情聯合控制:支持導演級鏡頭運動與敘事事件協同控制,生成視頻可直接用於 3DGS 場景重建和影視預演流程。
  • 低成本國產部署:基於華爲昇騰 NPU 全棧原生優化,推理成本較 GPU 降低 70%,首次證明國產算力可支撐大規模世界模型實時部署。
  • 多場景泛化生成:訓練數據覆蓋真實世界與虛擬世界,兼顧豐富性與跨域泛化能力。

MoWorld的技術原理

  • 數據引擎:覆蓋真實世界與虛擬世界,通過 3D 幾何一致性、軌跡精度、多視圖穩定性等多維質量篩選,構建高質量訓練資產。
  • 預訓練:超密集註意力並行 + 輸入 Token 並行,支持長達 2 分鐘的基礎模型訓練。
  • 蒸餾優化:壓縮至 4 步實時推理的自迴歸學生模型,引入全局錨點與相機穩定一致性的 Memory 機制,跳過教師軌跡採樣初始化,顯著降低蒸餾成本。
  • 實時推理:三層協同優化——流水線層(條件編碼複用、按需模塊加載)、並行層(多 NPU 環形通信、分層序列並行)、算子層(混合精度動態量化、HBM 高效注意力前端)。

如何使用MoWorld

MoWorld 處於發佈初期,權重、代碼與在線服務即將開放。

MoWorld的核心優勢

  • 全球首個 Flash World Model:首創超高幀率交互式世界模型概念,最高實現 50 FPS 實時推理,將世界模型從非實時生成帶入實時交互時代。
  • 純國產 NPU 全棧原生:首次在華爲昇騰 NPU 上打通預訓練、自迴歸蒸餾到實時推理的完整技術鏈路,證明國產算力可獨立支撐大規模世界模型訓練與部署。
  • 推理成本降低 70%:經 NPU 極致優化後,相比 GPU 部署成本大幅下降,讓高幀率世界模型首次具備規模化落地的經濟可行性。
  • 低成本不犧牲效果:14B 參數 MoE 架構在畫質、空間一致性與時序穩定性上達到行業 TOP 級,大尺度鳥瞰場景仍能保持建築、道路與遠景的精確結構。
  • 長時程空間一致性:引入全局錨點與相機穩定 Memory 機制,即使經歷高空俯衝、快速拉昇等大範圍鏡頭運動,跨視角幾何關係依然穩定不漂移。
  • 相機-劇情聯合控制:支持精確相機軌跡與敘事事件協同,生成視頻可直接重建 3DGS 場景,打通影視預演、具身仿真與數字孿生的應用閉環。

MoWorld的項目地址

  • 項目官網:https://moxin-tech.github.io/moworld/
  • 技術論文:https://moxin-tech.github.io/moworld/MoWorld.pdf

MoWorld的同類競品對比

對比維度 MoWorld(魔芯科技) HY World 1.5(騰訊混元)
核心定位 高幀率 Flash World Model,實時交互式世界模擬 開源實時世界模型框架,流式交互探索
實時幀率 最高 50 FPS 24 FPS 流式生成
模型架構 14B 參數 MoE(混合專家) 未公開具體參數規模
硬件平台 純國產華爲昇騰 NPU,全棧原生優化 主要基於 NVIDIA GPU 生態
推理成本 較 GPU 降低 70% 標準 GPU 部署成本
空間一致性 全局錨點 + 相機穩定 Memory 機制,大尺度場景跨視角幾何穩定 Memory Reconstitution 機制,動態重建歷史上下文防止幾何漂移
控制精度 精確相機軌跡 + 4D 空間感知,支持導演級鏡頭運動 3D 相機姿態 + 離散命令雙動作表示,支持鍵盤鼠標控制
視角支持 側重相機軌跡控制,適用於影視預演與重建 支持第一人稱與第三人稱視角切換

MoWorld的應用場景

  • 影視製作與鏡頭預演:創作者可專注於角色動作與鏡頭語言,顯著減少背景漂移、視角跳變和場景身份不一致問題。
  • 實時雲遊戲與交互內容:用戶通過連續相機控制實時探索生成的虛擬世界,支撐低延遲漫遊、鏡頭控制和沉浸式交互體驗。
  • 室內場景重建與數字孿生:用 MoWorld 生成的視頻進行室內場景 3D 重建,目標精細度高、重建穩定、空間一致性好,可直接輸出數字場景資產。
  • 具身智能仿真:高幀率 Flash World Model 讓機器人系統以前所未有的速度進行環境感知與決策,爲具身智能提供實時物理交互模擬環境。
  • 自動駕駛訓練與驗證:通過實時生成多樣化駕駛場景(城市、高速、沙漠等),支撐自動駕駛算法在動態、大尺度環境中的快速迭代與安全性驗證。
© 版權聲明

相關文章

暫無評論

暫無評論...