Hallo2 – 復旦、百度和南京大學共同推出的音頻驅動肖像圖像動畫生成模型

Hallo2是什麼

Hallo2是由復旦大學、百度公司和南京大學共同推出的音頻驅動肖像圖像動畫生成模型。能將單張參考圖片和持續幾分鐘的音頻輸入結合起來，基於可選的文本提示調節肖像表情，生成與音頻同步的高分辨率4K視頻。Hallo2基於先進的數據增強技術，如補丁下降和高斯噪聲，增強視頻的長期視覺一致性和時間連貫性。Hallo2實現潛在代碼的矢量量化和時間對齊技術，生成4K分辨率的視頻，引入語義文本標籤作爲條件輸入，提高動畫的可控性和多樣性。Hallo2在多個公開數據集上進行廣泛的實驗，展示在生成長時間、高分辨率、豐富且可控內容方面的能力。

Hallo2的主要功能

• 長時視頻生成：能處理長達一小時的視頻生成，解決外觀漂移和時間僞影的問題。
• 高分辨率輸出：實現4K分辨率的肖像視頻生成，提供清晰的視覺細節。
• 音頻驅動動畫：基於音頻輸入驅動肖像圖像動畫，實現口型和表情的同步。
• 文本提示調節：引入文本提示調節和細化肖像的表情，增加動畫的多樣性和表現力。
• 數據增強技術：基於補丁下降和高斯噪聲增強技術，提高視頻的長期視覺一致性和時間連貫性。

Hallo2的技術原理

• 補丁下降技術（Patch-Drop Augmentation）：基於在條件幀中隨機丟棄部分圖像塊（補丁），減少前一幀對後續幀外觀的影響，保持長時間視頻生成中的視覺一致性。
• 高斯噪聲增強：在補丁下降的基礎上加入高斯噪聲，進一步提高模型對參考圖像外觀的依賴，保留運動信息，減少累積的僞影和失真。
• 向量量化生成對抗網絡（VQGAN）：基於向量量化潛在代碼和應用時間對齊技術，Hallo2能在時間維度上維持連貫性，生成4K分辨率的高質量視頻。
• 語義文本標籤：Hallo2引入可調整的語義文本標籤作爲條件輸入，支持模型根據文本提示生成特定的表情和動作，提高生成內容的可控性。
• 跨注意力機制（Cross-Attention Mechanism）：模型能在去噪過程中有效地整合運動條件，如音頻特徵和文本嵌入，生成與條件輸入相一致的圖像。

Hallo2的項目地址

• 項目官網：fudan-generative-vision.github.io/hallo2
• GitHub倉庫：https://github.com/fudan-generative-vision/hallo2
• HuggingFace模型庫：https://huggingface.co/fudan-generative-ai/hallo2
• arXiv技術論文：https://arxiv.org/pdf/2410.07718v1

Hallo2的應用場景

• 電影和視頻製作：在電影製作中，Hallo2生成或增強角色的面部表情和口型，用在需要大量虛擬角色或特效的科幻和動畫電影中。
• 虛擬助手和數字人：在客服、教育、娛樂等領域，Hallo2能創建逼真的虛擬助手或數字人，提供更加自然和吸引人的交互體驗。
• 遊戲開發：遊戲開發者基於Hallo2生成具有高度真實感的角色動畫，提高遊戲的沉浸感和玩家的遊戲體驗。
• 社交媒體和內容創作：內容創作者用Hallo2創建動態肖像視頻，用在社交媒體平台，增加內容的吸引力和互動性。
• 新聞和廣播：Hallo2能生成新聞主播的動畫形象，在需要多語言播報的情況下，快速生成不同語言的口型和表情。