Hy-Nomas – 騰訊混元團隊開源的交互式視頻世界生成模型

Hy-Nomas是什麼

Hy-Nomas 是騰訊混元團隊開源的交互式視頻世界生成模型，採用分段自迴歸方式生成視頻，支持在每段間自由切換文本提示或相機軌跡控制，並通過 lifelong KV cache 保持長程一致性。Hy-Nomas已開源代碼與權重，提供蒸餾版和 INT8 量化版，經優化後單張 RTX 4090 可本地推理。

Hy-Nomas的主要功能

• 自由形式文本控制：支持任意形式的文本提示，控制生成世界中的物體、風格、場景與動作。
• 相機軌跡控制：可基於相機運動軌跡條件化生成，與文本提示自由組合切換。
• 多輪交互生成：Web 交互界面支持在段邊界處注入新指令，實現多輪連續生成。
• 提示詞增強（Nomas-PE）：內置在線模型將用戶口語化指令自動轉化爲結構化生成提示。
• 消費級本地部署：INT8 量化 + CPU offload 優化，單張 RTX 4090 即可完成推理。
• LoRA 微調：支持用自定義視頻數據進行微調，並可合併進蒸餾模型用於推理。

Hy-Nomas的技術原理

• 分段自迴歸架構：將長視頻按段生成，每段條件於當前提示或相機信號，並維護一個貫穿所有段的 lifelong KV cache，使場景、物體和風格在時間上保持一致，實現長程世界生成。
• 蒸餾加速推理：通過蒸餾訓練將去噪步數壓縮至 4/6/8 步，配合專門微調的 PixelUMM 解碼器處理 32 通道 DCAE-V 隱變量，在保證質量的同時大幅降低推理延遲。
• 低顯存推理機制：DiT 權重與 KV cache 採用 INT8 存儲、計算保持 BF16；歷史上下文用滑動窗口截斷非無限增長；文本編碼器、DiT、VAE 按階段在 CPU/GPU 間切換，將峯值顯存壓到消費級顯卡可承受的範圍。
• LoRA 分段強制訓練：微調以非蒸餾 checkpoint 爲底模，採用 segment forcing 訓練管線，只訓練 LoRA 參數（rank/alpha 256）；訓練完成後將 LoRA 權重合併回蒸餾 checkpoint，得到既保留蒸餾加速又具備定製能力的推理模型。

微信關注回覆“開源”，加入AI開源項目交流羣

Hy-Nomas的核心優勢

• 雙模態自由切換：每段生成可在文本提示與相機軌跡控制間自由切換，交互方式靈活。
• 長程一致性：lifelong KV cache 保證物體、場景與風格跨段延續，避免長視頻漂移。
• 消費級可跑：INT8 量化 + 滑動窗口 + CPU offload，單張 RTX 4090 可本地推理。
• 推理極快：蒸餾後僅需 4~8 步去噪，顯著降低生成延遲。
• 完全開源：代碼、權重、訓練與數據標註流程全公開，Apache 2.0 協議可商用。

Hy-Nomas的項目地址

• 項目官網：https://hy-nomas.hy.tencent.com/
• GitHub倉庫：https://github.com/Tencent-Hunyuan/Hy-Nomas
• HuggingFace模型庫：https://huggingface.co/tencent/Hy-Nomas

Hy-Nomas的同類競品對比

Hy-Nomas的應用場景

• AI 遊戲原型開發：通過文本與相機指令快速生成交互式遊戲世界，低成本驗證玩法概念。
• 機器人仿真訓練：藉助官方 Robotics LoRA 生成真實感機械臂操作環境，爲具身智能提供合成訓練數據。
• 影視預演與分鏡：用電影感 LoRA 生成連貫長鏡頭，輔助導演做運鏡設計和視覺預覽。
• 虛擬文旅與空間展示：用相機軌跡控制生成可漫遊的景區、展廳、房產場景，替代傳統 3D 建模。
• AI 研究與教育：完整的訓練、微調、數據標註代碼開源，可作爲世界模型方向的教學與科研基座。