UniPixel – 香港理工聯合騰訊推出的像素級多模態大模型

UniPixel是什麼

UniPixel是香港理工大學和騰訊ARC Lab團隊開發的首個統一像素級多模態大模型，專注於圖像/視頻的精細理解與交互。能在單個模型中完成對象指代、像素級分割和區域推理三大任務，通過創新設計的”對象記憶機制”和統一視覺編碼方式，實現了對視頻中目標的精準追蹤與語義理解。模型基於Qwen2.5-VL框架，支持點、框、掩碼三種交互方式，在9項視覺任務基準測試中超越72B參數的傳統模型，開源了代碼和在線Demo。核心突破在於將視覺分割與語言推理深度融合，解決了傳統模型無法處理複雜指代和動態區域理解的問題。

查看原圖來源（外部連結）

UniPixel的主要功能

• 像素級視覺語言理解：專注於像素級視覺語言理解，能實現視覺信號與語言語義之間的像素級對齊，支持多種細粒度任務，包括圖像/視頻分割、區域理解以及PixelQA任務。
• 統一對象指代與分割：模型將對象指代和分割能力無縫集成，能根據視覺提示輸入生成相關的掩碼，並在推理過程中基於這些中間指針進行後續推理，實現細粒度的像素級推理。
• 多任務支持：在多個基準測試中表現出色，包括ReVOS推理分割基準、MeViS、Ref-YouTube-VOS、RefCOCO/+/g等數據集，設計了新的PixelQA任務，要求模型聯合進行對象指代、分割和問答。
• 靈活的視覺提示處理：能靈活處理視覺提示輸入，生成掩碼並進行推理，支持單幀和多幀的視頻區域理解，以及基於掩碼的問答任務。

UniPixel的技術原理

• 統一框架設計：UniPixel採用統一框架，將對象指代和分割能力整合到一個模型中，實現從粗粒度場景理解到細粒度像素推理的跨越，爲複雜視覺推理提供基礎。
• 對象記憶庫：模型包含對象記憶庫，存儲從指代任務中提取的對象特徵，爲後續的分割和推理任務提供上下文信息，增強模型在像素級任務上的性能。
• 多階段訓練策略：採用預訓練、指代任務微調和分割任務微調的多階段訓練策略，逐步提升模型在像素級任務上的性能，適應不同任務需求。
• 端到端掩碼生成：模型能根據語言描述直接生成像素級掩碼，實現語言與視覺的深度融合，支持多種細粒度任務，如圖像/視頻分割和區域理解。
• 靈活的視覺提示處理：能靈活處理視覺提示輸入，生成掩碼並進行推理，支持單幀和多幀的視頻區域理解，以及基於掩碼的問答任務，適應不同場景需求。
• 強大的推理能力：在VideoRefer-Bench-Q問答任務中，UniPixel-7B模型取得了74.1%的準確率，超越了包括GPT-4o在內的多個強大基準模型，顯示出其在複雜視覺推理任務中的強大能力。
• 模型權重與數據集提供：提供了UniPixel-3B和UniPixel-7B兩個版本的模型權重，以及23個指代/分割/QA數據集的原始圖像/視頻和預處理註釋，爲研究和應用提供豐富資源。
• 訓練與評估支持：代碼庫支持在23個數據集和基準測試上進行訓練和評估，支持靈活的硬件設置、高效的訓練技術、自定義基礎LLM和對話模板，以及通過Tensorboard/Wandb監控訓練過程，方便用戶使用和優化。

UniPixel的項目地址

• 項目官網：https://polyu-chenlab.github.io/unipixel/
• Github倉庫：https://github.com/PolyU-ChenLab/UniPixel
• HuggingFace數據：https://huggingface.co/datasets/PolyU-ChenLab/UniPixel-SFT-1M
• arXiv技術論文：https://arxiv.org/pdf/2509.18094
• 在線體驗Demo：https://huggingface.co/spaces/PolyU-ChenLab/UniPixel

UniPixel的應用場景

• 圖像分割：UniPixel能根據語言描述生成圖像中特定對象的像素級掩碼，適用於需要精確圖像分割的場景，如醫學圖像分析、自動駕駛中的目標分割等。
• 視頻分割：在視頻處理領域，UniPixel可以對視頻中的對象進行實時分割，支持視頻編輯、視頻監控和增強現實等應用。
• 區域理解：通過理解語言描述來識別和分割視頻中的特定區域，可用於視頻內容分析、智能監控系統和視頻會議中的背景分割等。
• 問答任務：UniPixel支持PixelQA任務，能夠根據語言描述和視覺信息回答問題，適用於教育、智能客服和信息檢索等場景。
• 多模態交互：在需要結合視覺和語言信息進行交互的場景中，如智能助手、虛擬現實和遊戲開發等，UniPixel能夠提供更自然和準確的交互體驗。
• 智能監控：在安防監控領域，UniPixel可以實時識別和分割監控視頻中的特定對象或區域，提高監控系統的智能化水平。