HelixWorld – Noiz AI 聯合港科大開源的實時交互世界模型

1 0 0

HelixWorld是什麼

HelixWorld 是 Noiz AI 與港科大聯合開源的實時交互式音視頻世界模型。給模型一張起始圖片和文字描述，可通過 WASD 和方向鍵在 AI 生成的世界中行走、轉頭，畫面與立體空間音效同步實時生成，且聲像隨視角自然變化。HelixWorld 基於 LTX-2.3 構建，採用”雙向教師 + 因果蒸餾”訓練，單張 H800 顯卡可實現 768×512 分辨率、24 FPS 的實時生成。配套發佈 HelixBench 基準，專門評估空間聲學一致性。

HelixWorld的主要功能

實時可交互世界生成：輸入起始圖片和文字描述，可在 AI 生成的世界中自由探索。
鍵盤/動作操控：WASD 控制移動、方向鍵調整視角，畫面隨操作即時響應。
原生音視頻聯合生成：視頻與立體聲音頻同步生成，非後期配音。
空間聲學一致性：聲像隨鏡頭轉動自然變化，如左側聲源轉身後面向時聲音方向隨之改變。
三軌解耦提示詞：分別用視頻、音頻、音視頻聯合描述控制生成內容。
實時流暢體驗：單張 H800 顯卡上達到 768×512 分辨率、24 FPS 實時生成。

HelixWorld的技術原理

雙向教師模型預訓練：先訓練一個雙向音視頻擴散模型作爲教師：連續 6-DoF 相機軌跡通過 PRoPE 注入視覺注意力，81 類離散動作經 AdaLN-Zero 調製擴散時間步，跨模態注意力把相機運動傳遞到音頻分支，使聲音自然產生立體聲像變化。
因果蒸餾實現實時化：將教師模型蒸餾爲少步因果學生模型：視頻潛變量與音頻 token 分塊處理，塊內雙向注意力、塊間通過 KV cache 因果連接，配合 ODE 初始化使學生能以 4 步完成去噪，滿足實時推理需求。
在線軌跡蒸餾抑制漂移：針對自迴歸長程生成的誤差累積問題，訓練時用教師 Probability Flow ODE 的終點爲目標監督學生速度場，與分佈匹配損失（DMD）隨機交替使用，兼顧生成多樣性與長程穩定性。
長程流式微調：通過滑窗 KV cache 逐段展開長序列訓練，保留 sink 幀錨點、歷史梯度截斷，配合約一分鐘的長序列微調，進一步減少長時間生成中的畫面漂移與聲音退化。

HelixWorld – Noiz AI 聯合港科大開源的實時交互世界模型

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用HelixWorld

方式一：在線體驗
- 打開官網 https://helixworld.org，選擇示例圖片或上傳自己的圖片。
- 填寫場景的文字描述。
- 進入世界後用 WASD 移動、方向鍵轉動視角，實時探索生成內容。
- 運行過程中還可隨時修改提示詞，調整後續生成的場景。
方式二：本地部署
- 環境準備：Linux 系統、Python 3.11、CUDA 12.x、NVIDIA 顯卡（建議 80GB 顯存）、ffmpeg 和 ffprobe。
- 下載項目並安裝依賴：git clone https://github.com/NoizAI/HelixWorld.git，創建 conda 環境後 pip install -r requirements.txt。
- 運行 python download_models.py 下載模型權重。
- 準備一張起始圖片，通過 ./run.sh 指定圖片、畫面/聲音/聯合提示詞、動作序列等參數，生成 MP4 輸出到 outputs 目錄。