Seedance 1.0 – 字節跳動推出的視頻生成模型

Seedance 1.0是什麼

Seedance 1.0 是字節跳動Seed團隊推出的視頻生成基礎模型。模型支持文字與圖片輸入，能生成多鏡頭無縫切換的1080p高品質視頻，具備原生多鏡頭敘事能力，能進行遠中近景畫面切換，主體運動穩定，畫面自然。Seedance 1.0 支持多種風格創作，如寫實、動漫、影視等，且生成速度快，成本低。在第三方評測榜單Artificial Analysis上，Seedance 1.0 文生視頻、圖生視頻兩個任務均位居首位，展現了在視頻生成領域的強大性能和優勢。

Seedance 1.0的主要功能

• 多鏡頭敘事能力：支持生成包含多個連貫鏡頭的敘事性視頻，能進行遠、中、近景的切換，確保核心主體、視覺風格和整體氛圍的高度一致。
• 流暢穩定的運動表現：模型能生成大幅度運動的視頻，從細微的表情到動態場景都能保持高水平的穩定性和物理真實感。
• 多種風格創作：支持多種風格的視頻生成，包括寫實、動漫、影視、廣告等。
• 精準的語義理解與指令遵循：模型能精準解析複雜的自然語言指令，穩定控制多主體互動、多重動作組合，支持豐富的運鏡選擇。
• 高速推理與低成本：基於對模型結構的優化和推理加速，Seedance 1.0 支持在短時間內完成視頻創作。對於5秒1080p分辨率的視頻生成任務，實測推理耗時僅41.4秒（基於NVIDIA L20測試），顯著低於其他同類模型。

Seedance 1.0的技術原理

• 多源數據整理與精準描述模型：基於多階段篩選和均衡，構建了大規模、多樣化的視頻數據集，涵蓋不同主題、場景、風格和鏡頭運動。訓練一個動靜態特徵融合的密集描述模型，用在生成精準的視頻描述（Caption），作爲訓練數據。模型關注視頻中的動作變化與鏡頭運動，強調畫面主要元素的性質特點與場景信息。
• 高效的預訓練框架：構建解耦空間層和時間層的擴散Transformer模型，空間層在單幀內執行注意力聚合，時間層專注於跨幀的注意力計算，提升訓練和推理效率。支持視覺token與文本token的交錯序列，擴展到多鏡頭視頻的訓練，增強模型的多鏡頭生成能力和多模態理解力。基於二元掩碼指示哪些幀應遵循生成中的控制條件，實現文本到圖像、文本生視頻和圖像生視頻等任務的統一框架。
• 後訓練優化與複合獎勵系統：在微調階段，用高質量視頻-文本對數據集進行訓練，確保生成的視頻在美學效果和運動動態上表現更佳。構建包括基礎獎勵模型、運動獎勵模型和美學獎勵模型在內的複合獎勵系統，基於多維度獎勵模型提升模型在圖文對齊、運動質量和畫面美感上的表現。用最大化多個獎勵模型獎勵值的方法，結合RLHF（Reinforcement Learning from Human Feedback）算法，提升模型在文生視頻和圖生視頻任務中的綜合效果。
• 極致推理加速：基於分段軌跡一致性、分數匹配與人類偏好引導的對抗蒸餾機制，在極低推理步數下實現生成質量與速度的更優協同。用通道結構細化的輕量級VAE解碼器，實現視頻生成路徑中感知質量無損的雙倍加速。基於融合算子優化、異構量化稀疏策略、自適應混合併行、異步卸載與VAE並行分解等系統級改造，構建面向長序列視頻生成的高效推理路徑，實現端到端吞吐與內存效率的更優協同。

Seedance 1.0的性能表現

• 在第三方評測平台 Artificial Analysis 上，Seedance 1.0 在文生視頻（T2V）和圖生視頻（I2V）兩個任務中均位居首位。
• Seedance 1.0 在內部基準測試中，與行業其他模型的對比，Seedance 1.0 在指令遵循、運動質量和美學表現等多個核心維度表現良好。在 T2V 任務中，指令遵循、運動質量、美學表現等指標獲得較高評分。

Seedance 1.0的官方示例

• 原生多鏡頭敘事能力：
  • Prompt：女孩彈鋼琴，多鏡頭切換，電影質感（I2V）。

• 更強運動生成效果：
  • Prompt：滑雪者在滑雪，他轉彎時揚起大片雪霧，沿着山坡逐漸加速，鏡頭平穩地移動着。

• 支持高美感的多種風格創作：

Seedance 1.0的項目地址

• 項目官網：https://seed.bytedance.com/zh/seedance
• 技術論文：https://lf3-static.bytednsdoc.com/obj/eden-cn/bdeh7uhpsuht/Seedance

Seedance 1.0的應用場景

• 影視製作：生成包含多個鏡頭切換的敘事性視頻，支持複雜的敘事結構，提升視頻的敘事能力和視覺效果。
• 廣告與營銷：快速生成高質量的廣告視頻，支持多種風格和場景，滿足不同品牌和產品的廣告需求。
• 遊戲開發：生成遊戲中的過場動畫和動態場景，提升遊戲的敘事性和沉浸感。
• 教育與培訓：生成教育視頻和培訓材料，幫助學生和員工更好地理解和掌握知識。
• 新聞與媒體：生成新聞報道和紀錄片中的動態內容，增強新聞和紀錄片的視覺效果。