PixelUMM – NVIDIA 聯合滑鐵盧大學推出的多模態模型

PixelUMM是什麼

PixelUMM 是 NVIDIA 與滑鐵盧大學聯合推出的無編碼器統一多模態模型，核心突破是徹底移除 VAE 和視覺編碼器，用單個 Decoder-only Transformer直接在原始像素空間讀寫圖像與視頻，理解和生成共享同一解碼器與自注意力。圖像按 16×16 patch、視頻按 4 幀 tubelet 切分，代碼已開源。

PixelUMM的主要功能

• 文本生視頻（T2V）：支持生成最高 832×464、96 幀、24fps 的 4 秒視頻，畫質與主流視頻擴散模型相當。
• 文本生圖像（T2I）：在同一模型內直接生成圖像，無需單獨的圖像分支或解碼器。
• 圖像理解：可完成 VQA、OCR、圖表、文檔等 21 項圖像理解任務，達到 8B 級 VLM 的平均水平。
• 視頻理解：支持 MVBench、Video-MME 等視頻問答基準，提供 dense 和 sparse 兩種輸入模式。
• 圖生視頻（I2V）：將乾淨的首幀圖像作爲條件注入理解專家，即可生成後續視頻，無需 VAE 編碼條件幀。
• 視頻編輯：以輸入視頻爲視覺條件，通過多模態上下文條件機制實現編輯類任務。

PixelUMM的技術原理

• 無編碼器架構：PixelUMM 徹底移除了傳統統一模型中的 VAE 和視覺編碼器，圖像直接切分爲 16×16 patch、視頻切分爲 4 幀 tubelet 原始 RGB 像素形式輸入，輸出同樣由線性頭直接迴歸像素，整個流程沒有 latent 空間的編解碼損耗，實現真正的端到端像素讀寫。
• MoT 共享注意力結構：模型用 Qwen3-8B 爲骨幹構建 Mixture-of-Transformers：理解專家和生成專家各自擁有獨立的 FFN，共享同一套 self-attention，使文本、乾淨像素與噪聲像素能在同一注意力空間內交互，在一個模型內統一理解與生成。
• 像素空間擴散訓練：生成任務在像素空間直接做 flow-matching 式訓練，消融實驗表明像素空間與 VAE 空間的梯度範數幾乎一致，但像素空間訓練更穩定，且壓縮率實驗證實 16×16 patch、4 幀 tubelet 是學習難度與效率的最優平衡點。
• 多模態條件注入機制：參考文本條件、參考圖像、輸入視頻等”乾淨條件”統一走理解專家，待生成的噪聲 token 走生成專家，兩者在共享注意力中融合，擴展了 SenseNova-U1 的 encoder-free 條件方式到圖生視頻與視頻編輯，消融顯示設計不損傷理解能力，四項視頻基準提升 0.89–3.49 分。
• 線性輸出頭與卷積頭消融：默認採用輕量線性輸出頭，會引入 16 像素網格僞影；實驗對比 Wan 式上採樣卷積頭與 PixelShuffle 頭，證明卷積頭可消除僞影，其中時間優先的 PixelShuffle 是訓練損失與僞影抑制間的最佳折中，切換頭需要重新訓練。

如何使用PixelUMM

• 克隆倉庫：git clone https://github.com/nv-tlabs/PixelUMM，按 ENVIRONMENT.md 配置 CUDA 環境。
• 下載權重：從 Hugging Face 的 nvidia/PixelUMM 下載默認 checkpoint S8-F22-R05，並按 CHECKPOINT.md 下載 Qwen3-8B 的配置和 tokenizer 文件。
• 設置路徑：配置 PIXELUMM_CKPT、PIXELUMM_QWEN_DIR、PIXELUMM_OUTPUT 三個環境變量指向本地絕對路徑。
• 校驗 checkpoint：先運行 check_checkpoint.py檢查權重完整性和張量兼容性。
• 申請安全審覈權限：到 Hugging Face 申請 nvidia/Cosmos-1.0-Guardrail 的訪問權限並登錄。
• 運行推理：用 inference.py 分別指定 --task t2i / t2v / image-vlm / video-vlm，配合 prompt、分辨率、幀數等參數生成圖像、視頻或輸出理解結果。
• 批量生成（可選）：使用 inference_batch.py 配合 YAML prompt 文件批量跑任務。
• 玩具訓練（可選）：按 TRAIN.md 下載 toy 數據集，用 train_toy.py 在 F22 checkpoint 基礎上跑四任務訓練示例。

PixelUMM的核心優勢

• 徹底無編碼器架構：移除 VAE 和視覺編碼器，直接在原始像素空間讀寫，消除 latent 空間編解碼帶來的信息損耗與僞影來源。
• 統一理解與生成：單個 decoder-only Transformer 同時完成文生圖、文生視頻、圖像理解、視頻理解四大任務，理解專家與生成專家共享同一自注意力。
• 架構簡潔、推理直接：輸出由輕量線性頭直接迴歸像素，無需額外解碼器，生成鏈路更短。
• 條件注入靈活高效：參考圖像、輸入視頻等乾淨條件走理解專家即可實現圖生視頻和視頻編輯，消融證明該設計不損傷理解能力。
• 訓練規律清晰可擴展：8B 模型達到同等損失僅需 1.7B 模型約三分之一的訓練步數，規模化收益明確。

PixelUMM的項目地址

• 項目官網：https://nv-tlabs.github.io/PixelUMM/
• GitHub倉庫：https://github.com/nv-tlabs/PixelUMM
• HuggingFace模型庫：https://huggingface.co/nvidia/PixelUMM
• arXiv技術論文：https://arxiv.org/pdf/2609.38597

PixelUMM的同類競品對比

PixelUMM的應用場景

• 短視頻內容創作：輸入一句文案直接生成 4 秒 24fps 視頻，適合社交媒體快速產出素材。
• 圖生視頻與視頻編輯：用首幀或原視頻爲條件生成/修改內容，可用於電商產品動態展示和影視預演。
• 長視頻理解與問答：對輸入視頻做描述、摘要和時序推理，適用於內容審覈、素材檢索和會議紀要。
• 文檔與圖表解析：OCRBench 78.0、DocVQA 90.4 的成績可支撐票據識別、報表問答等企業文檔智能化場景。