PortraitGen – 中科大推出的AI人像視頻編輯工具

PortraitGen是什麼

PortraitGen是中國科學技術大學研究團隊推出的一款AI人像視頻編輯工具。基於3D高斯濺射技術和神經高斯紋理機制，將2D人像視頻轉換爲4D高斯場，實現高質量的3D和時間一致性編輯。工具支持多模態編輯，包括文本驅動、圖像驅動編輯以及重新照明，能快速、高效地對視頻中的人物進行風格化、換衣、光照調整等操作。通過面部感知編輯和表達式相似性指導，PortraitGen確保編輯後的肖像自然且與原始視頻幀保持一致性。

PortraitGen的主要功能

• 多模態人像編輯：支持文本驅動和圖像驅動兩種編輯模式，用戶可以通過輸入文字描述來指定人物的動作、表情以及場景的變化，或者用參考圖像來實現風格轉換或進行虛擬試穿等操作 。
• 光照調節（Relighting）：基於IC-Light技術，基於文本描述動態調整視頻中的光照效果，使光照與場景自然融合 。
• 人臉感知編輯：通過面部感知編輯模塊，確保在視頻編輯過程中，保留人物的面部結構和個性化特徵，優化人物的表情和麪部動作的自然性和一致性 。
• 風格轉換與虛擬試穿：支持風格轉換和虛擬試穿，用戶可以通過參考圖像實現全局風格的遷移（如轉換爲動畫風格），或爲視頻中的人物添加虛擬服裝等物品 。
• 多鏡頭和複雜場景處理：能處理多鏡頭視頻，保持風格、人物一致性，可以通過高斯紋理技術實現複雜風格的視頻渲染，如樂高風格或像素藝術風格 。
• 快速生成與高幀率輸出：能在短時間內完成編輯，生成視頻時支持高達100幀每秒（FPS）的渲染速度，適合用於高效視頻製作場景 。

PortraitGen的技術原理

• 3D高斯濺射（3DGS）：基於3D高斯表示場景，通過3D協方差矩陣定義每個高斯的中心點、方向和大小，及不透明度和顏色屬性，實現動態3D場的構建。
• 神經高斯紋理機制：在SMPL-X模型的UV空間上維護一個3D高斯場，根據輸入視頻跟蹤的底層網格變形來變形高斯，用UV映射和2D神經渲染器將特徵圖轉換爲RGB信號。
• 面部感知編輯模塊：對頭部區域進行兩次編輯，增強面部結構感知，提高編輯質量。
• 表達式相似性指導：將渲染圖像和輸入源圖像映射到EMOCA的潛在表達式空間，用損失函數確保表情的相似性。
• 多模態編輯技術：結合大規模2D生成模型的知識，實現文本驅動編輯、圖像驅動編輯和重新照明。

PortraitGen的項目地址

• 項目官網：ustc3dv.github.io/PortraitGen
• GitHub倉庫：https://github.com/USTC3DV/PortraitGen-code
• arXiv技術論文：https://arxiv.org/pdf/2409.13591

PortraitGen的應用場景

• 電影和影視製作：在電影、電視劇或短片製作中，創建或修改角色的外貌，實現特效化妝或風格化的場景轉換。
• 藝術創作：藝術家和插畫師用 PortraitGen 創作具有特定風格的人像藝術作品，如將肖像轉換爲像素藝術或油畫風格。
• 廣告和宣傳：在廣告行業中，根據品牌形象或產品特點，對人物肖像進行定製化編輯，吸引目標受衆。
• 時尚行業：時尚設計師和零售商基於虛擬試穿功能，在虛擬環境中展示服裝和配飾，爲客戶提供新的購物體驗。
• 社交媒體和短視頻：內容創作者和影響者用 PortraitGen 編輯自己的肖像視頻，增加創意效果，提高內容的吸引力和互動性。
• 遊戲開發：在遊戲角色設計中，快速生成或編輯角色的外貌，提高遊戲的個性化和豐富性。