LVCD – 騰訊聯合香港城市大學推出爲動漫視頻線稿上色的AI框架

LVCD是什麼

LVCD（Large Video Color Diffusion）是一個專爲動畫視頻線稿上色設計的視頻擴散框架，能將黑白線稿自動轉化爲彩色動畫視頻。LVCD使用了一種先進的擴散模型，可以同時處理整個視頻序列，保證每一幀的顏色連貫，在角色快速移動時，也能保持顏色一致。LVCD提出了參考注意力機制，能有效地將參考幀的色彩轉移到其他幀，在快速和大範圍運動的場景中。LVCD支持生成長時間的視頻，不受原始模型固定長度的限制，通過分段採樣機制和重疊混合模塊，能生成超過原有模型限制的長序列動畫。

LVCD的主要功能

• 自動上色：能將黑白線稿自動轉化爲彩色動畫視頻，提高了動畫製作的效率。
• 長視頻生成：支持生成長時間的視頻，不受固定長度的限制，適合製作複雜的動畫序列。
• 大動作場景處理：擅長處理包含大幅度運動的動畫場景，確保顏色一致性，避免色彩錯位。
• Sketch-guided ControlNet：引入草圖引導的控制網絡，提供額外的控制，確保生成的視頻與線稿的佈局和結構相符。
• Reference Attention機制：促進顏色從參考幀傳遞到其他幀，在快速運動場景中，保持色彩的一致性。
• 順序採樣機制：結合重疊混合模塊和前參考注意力，擴展視頻生成能力，確保長時間序列的時間一致性。

LVCD的技術原理

• 視頻擴散框架：LVCD使用預訓練的視頻擴散模型，能生成具有時間一致性的高質量動畫視頻。通過逐步去噪的方式，從噪聲數據中恢復出清晰的視頻幀。
• Sketch-guided ControlNet：一種擴展的控制網絡，支持模型接收線稿作爲額外的輸入條件。網絡通過編碼線稿信息，與視頻生成模型結合起來，確保生成的視頻內容與線稿的結構和佈局相匹配。
• Reference Attention：一種注意力機制，支持模型在生成過程中參考特定的幀（參考幀），將顏色和其他視覺特徵傳遞到其他幀中。對於保持視頻中快速運動場景的顏色一致性至關重要。
• 順序採樣方案：爲了生成長視頻，LVCD採用了一種新穎的順序採樣方案。包括重疊混合模塊（Overlapped Blending Module）和前參考注意力（Prev-Reference Attention），它們共同作用，使模型能生成超出原始固定長度限制的長視頻，同時保持時間上的連貫性。
• 時間一致性：LVCD通過特殊的設計來保證視頻序列中幀與幀之間的時間一致性，對於動畫視頻的流暢觀看體驗至關重要。

LVCD的項目地址

• 項目官網：luckyhzt.github.io/lvcd
• arXiv技術論文：https://arxiv.org/pdf/2409.12960
• 演示鏈接：https://luckyhzt.github.io/lvcd/supplementary/supplementary.html

LVCD的應用場景

• 動漫製作：LVCD可以自動爲動漫線稿上色，提高動畫製作的效率，減少人工上色的時間和成本。
• 遊戲開發：在遊戲開發中，LVCD可以用於快速生成遊戲角色和場景的彩色動畫，幫助開發者更快地實現視覺效果。
• 影視行業：LVCD能爲影視動畫項目提供高質量的線稿上色解決方案，適用於動畫電影、短片和系列劇的製作。
• 教育與培訓：在動畫製作課程中，LVCD可以作爲教學工具，幫助學生理解線稿到動畫的轉換過程，提高他們的創作能力。
• 藝術創作：藝術家可以用LVCD將自己的手繪線稿快速轉化爲彩色作品，激發創作靈感並節省時間。