Matrix -Game3.5 – 崑崙萬維開源的實時流式交互世界模型

Matrix -Game3.5是什麼

Matrix-Game 3.5 是崑崙萬維黎曼動力團隊開源的實時流式交互世界模型，基於 Patch Memory 與 Warped PRoPE 實現三維空間級長期記憶與幾何一致性建模。模型支持 720P/20FPS 單卡實時生成，具備分鐘級場景回溯能力，可響應鍵盤鼠標實時操控。從遊戲引擎走向通用物理世界模擬，爲機器人訓練、自動駕駛仿真與具身智能提供開源基礎設施。

Matrix -Game3.5的主要功能

• Patch Memory 長期記憶：將歷史畫面切分爲三維空間座標下的圖像塊（Patch），按空間位置檢索重組，解決物體重現與場景漂移問題，物體重現得分突破此前行業 0.6 的上限。
• PRoPE + Warped RoPE 幾何編碼：將相機投影矩陣編碼融入 Transformer 時空位置表示，使模型感知相機旋轉、平移與投影關係，實現精準視角控制與幾何一致性。
• 動靜解耦記憶：靜態場景由 Patch Memory 維護，動態主體通過輕量級 Reference Token 保持身份一致性，避免移動物體污染記憶導致重影。
• 實時流式生成：通過蒸餾將採樣步數壓縮至 3 步，結合分塊因果推理、KV Cache、INT8 量化與 VAE 結構化剪枝，實現單卡 GPU 720P/20FPS 實時生成。
• 自動化數據管線：構建 Unreal-Gen（虛幻引擎）、AAA 遊戲管線與互聯網視頻管線三類數據系統，產出 500 萬+高質量視頻切片、1 萬+小時訓練數據，覆蓋 1200+遊戲場景。
• NPC 交互與開放世界泛化：支持文本驅動的世界生成、角色動作控制與多智能體協同。

Matrix -Game3.5的技術原理

• 統一幾何感知記憶框架：PRoPE 將相機位姿編碼爲相對位置碼，不引入額外可學習參數；Warped RoPE 重新計算歷史 Patch 在當前視角下的時空座標，實現記憶複用時的座標對齊。
• 漸進式蒸餾：分兩階段將雙向 DiT 蒸餾爲因果生成器——用 Perceptual Flow Matching 獲得高質量少步因果初始化，通過 Self-Rollout DMD（分佈匹配蒸餾）在自迴歸軌跡上訓練，配合條件課程逐步蒸餾無分類器引導、相機控制與記憶條件生成。
• 輕量化可插拔架構：核心交互功能（PRoPE、Patch Memory、動靜解耦）均不新增參數，用模塊化插件形式適配不同視頻基礎模型。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用Matrix -Game3.5

• 下載模型：通過 GitHub（https://github.com/Riemann-Dynamics/Matrix-Game-3.5）或 HuggingFace 獲取權重與推理代碼。
• 部署環境：準備單張支持 CUDA 的 GPU，安裝依賴後加載模型。
• 輸入控制：通過鍵盤 WASD 移動、鼠標控制視角，或輸入文本提示/相機軌跡生成交互世界。
• 實時交互：模型用 20FPS 流式輸出後續幀，支持分鐘級連續探索而不丟失場景一致性。

Matrix -Game3.5的核心優勢

• 長時序一致性：首次在開源方案中系統性解決世界模型分鐘級記憶瓶頸，鏡頭往返重訪時場景元素保持完全一致。
• 實時可交互：從離線視頻生成器升級爲可玩的活世界，支持鍵盤/鼠標實時操控，延遲低至可玩級別。
• 開源生態：核心架構完全開源，GitHub 與 HuggingFace 可查，已被 DiT 作者謝賽寧團隊（Solaris）、NVIDIA及 Adobe等引用爲基準。
• 零參數增量設計：不堆參數、不破壞原始視頻分佈，保留基礎模型原生開放內容生成能力。

Matrix -Game3.5的項目地址

• 項目官網：https://matrix-game-v3-5.github.io/
• GitHub倉庫：https://github.com/Riemann-Dynamics/Matrix-Game-3.5
• HuggingFace模型庫：https://huggingface.co/RiemannDynamics/Matrix-Game-3.5-Base
• 技術論文：https://matrix-game-v3-5.github.io/paper/Matrix-Game-3.5.pdf

Matrix -Game3.5的同類競品對比

Matrix -Game3.5的應用場景

• AI 遊戲引擎：替代傳統遊戲引擎實時生成可交互開放世界，降低 3A 遊戲開發成本。
• 機器人虛擬訓練：作爲人形機器人/機械臂的虛擬訓練沙盤，支持低成本海量場景試錯與長時序任務規劃。
• 自動駕駛仿真：構建真實物理規則的交通場景數字孿生，用於端到端駕駛策略訓練。
• 具身智能研究：爲具身 Agent 提供可交互的物理世界模擬環境，支持動作-狀態聯合訓練。
• XR/元宇宙內容生成：實時生成沉浸式虛擬空間，支持用戶自由探索與內容創作。