Wan-Streamer v0.2 – 阿里通義推出的全模態理解與生成模型

Wan-Streamer v0.2是什麼

Wan-Streamer v0.2 是阿里通義實驗室推出的面向實時雙工交互的端到端全模態理解與生成模型。模型將”聽、看、說、演”統一進單個 Transformer，原生支持文本、音頻、視頻的實時理解與同步生成，端到端響應延遲僅 550ms，輸出分辨率 640×368@25FPS，讓 AI 能像真人一樣邊聽邊看邊回應，實現真正自然的面對面視頻交流。

Wan-Streamer v0.2的主要功能

• 實時音視頻對話：支持視頻通話式面對面交互，AI 實時感知用戶音視頻並同步生成回應。
• 全模態理解：原生支持文本、音頻、視頻輸入的實時理解，無需外部模塊拼裝。
• 音視頻同步生成：同步輸出語音與高清視頻畫面，實現聲畫完美同步。
• 微表情與手勢生成：可生成自然的眼神、身體姿態、手勢動作及場景細節。
• 自由角色扮演：支持通過自然語言描述實時生成任意角色進行對話。

Wan-Streamer v0.2的技術原理

• 原生流式架構：將用戶輸入與智能體輸出統一映射到同一條因果時間線，無需等待整段話結束。
• 流式單元閉環：每 160ms 完成一次感知、理解、生成、解碼的完整閉環，實現邊說邊聽邊回應。
• Thinker-Performer 雙通路：Thinker 單卡負責低延遲感知與語言推理，Performer 多卡 Ulysses 並行負責高清視頻生成。
• 時序重疊調度：單卡 Thinker 與多卡 Performer 計算窗口重疊，將視頻生成成本從延遲敏感路徑剝離。
• 端到端統一建模：將文本、音頻、視頻輸入與輸出統一進單個 Transformer，避免流水線割裂。

如何使用Wan-Streamer v0.2

目前 Wan-Streamer v0.2 以研究項目形式發佈，具體開放體驗入口及 API 接入方式需關注通義實驗室後續官方公告。

Wan-Streamer v0.2的核心優勢

• 極致低延遲：端到端 550ms，模型側僅 200ms，顯著快於主流實時語音對話模型。
• 全模態端到端：原生支持音視頻同步理解與生成，無需 ASR、LLM、TTS 等外部模塊拼裝。
• 高畫質輸出：640×368@25FPS，支持微表情、手勢和場景細節，不再侷限於懸浮頭部。
• 全雙工交互：邊說邊聽邊回應，無需等待用戶說完再處理，交流更自然。
• 架構可擴展：Thinker-Performer 雙通路設計在提升畫質的同時保持極低延遲。

Wan-Streamer v0.2的項目地址

• 項目官網：https://wan-streamer.com/
• arXiv技術論文：https://arxiv.org/pdf/2607.04443

Wan-Streamer v0.2的同類競品對比

Wan-Streamer v0.2的應用場景

• 視頻通話 AI 助手：打開攝像頭可面對面交流，適用口語陪練、面試模擬、心理諮詢等需要”在場感”的場景。
• 場景化教育：AI 老師可通過畫面觀察學生表情判斷理解程度，實時調整教學節奏。
• 沉浸式遊戲 NPC：遊戲角色擁有表情、肢體語言和實時反應，與玩家進行真正”面對面”對話。
• 無障礙交互：爲聽障用戶實時生成帶精確脣語和手勢的視頻回應，爲視障用戶描述周圍環境。
• 虛擬角色扮演：可與歷史人物、藝術形象或自定義角色實時對話，實現沉浸式文化體驗。