ReSyncer – 清華聯合百度推出的AI視頻編輯工具

ReSyncer是什麼

ReSyncer是清華大學和百度聯合推出的AI視頻編輯工具，通過音頻驅動生成與聲音同步的高質量嘴脣動作視頻。ReSyncer用Style-SyncFormer分析聲音並創建3D面部模型，結合目標視頻生成同步且表情豐富的虛擬人物。ReSyncer支持個性化微調、說話風格轉換和換臉功能，適用於虛擬主持人、表演者創作及實時直播等場景，在視聽面部信息同步方面的效果卓越。

ReSyncer的主要功能

• 口型同步：根據給定的音頻生成與聲音同步的嘴脣動作。
• 風格遷移：將特定的說話風格或面部表情遷移到目標視頻中。
• 個性化微調：快速調整生成的面部動畫以匹配特定人物的面部特徵。
• 視頻驅動的口型同步：使用目標視頻的面部圖像來驅動口型動畫。
• 換臉技術：將一個人的面部特徵替換爲另一個人的，用於身份轉換或特效製作。

ReSyncer的技術原理

• 3D面部模型生成：使用Style-SyncFormer，一個深度學習模型，根據聲音特徵預測3D面部動態。
• 風格化面部動態：通過Transformer結構學習風格化的3D面部動態，實現面部表情和口型的精確同步。
• 基於風格的生成器：將預測得到的3D面部動態與目標視頻中的面部圖像結合，生成高保真的面部圖像。
• 面部特徵融合：在生成過程中，通過簡單的插入機制將3D面部網格信息與風格化特徵融合，提高嘴脣同步的質量和穩定性。

ReSyncer的項目地址

ReSyncer的應用場景

• 電影和視頻製作：在電影和視頻製作中，ReSyncer可以用來實現複雜的特效，如換臉或對口型，增加視覺吸引力。
• 廣告行業：廣告製作中，風格遷移功能可以用來創造獨特的視覺效果，吸引觀衆的注意力。
• 社交媒體和內容創作：內容創作者可以用ReSyncer增強他們的視頻內容，例如通過換臉技術製作有趣的模仿視頻。
• 教育和培訓：在語言學習或專業培訓中，對口型功能可以幫助學習者更好地理解和模仿發音。