ActAnywhere – Adobe推出的AI視頻背景生成模型

ActAnywhere是什麼

ActAnywhere是一個由斯坦福大學和Adobe Research的研究人員共同開發的視頻生成模型，旨在解決視頻背景生成的問題，特別是在需要將前景主體（如人物）與新背景無縫結合的場景中。這個模型適用於電影製作和視覺效果（VFX）領域，它能夠自動化地創建與前景主體運動相協調的視頻背景，從而節省了傳統手動合成過程中的大量時間和精力。

官方項目主頁：https://actanywhere.github.io/

Arxiv論文地址：https://arxiv.org/abs/2401.10822

ActAnywhere的功能特色

• 前景主體與背景融合：ActAnywhere能夠根據前景主體的運動和外觀，自動生成與之相匹配的背景，使得主體與背景之間的交互看起來自然和連貫。
• 條件幀驅動的背景生成：用戶可以提供一個描述新場景的圖像（條件幀），ActAnywhere會根據這個條件幀生成視頻背景。這允許用戶指定特定的背景元素，如特定的建築、自然景觀或室內環境。
• 時間一致性：通過使用時間自注意力機制，ActAnywhere確保生成的視頻在時間序列上保持一致性，包括相機運動、光照變化和陰影效果。
• 自監督學習：ActAnywhere在大規模人類-場景交互視頻數據集上進行自監督訓練，這意味着它能夠在沒有人工標註的情況下學習如何生成視頻背景。
• 零樣本學習：ActAnywhere能夠在沒有額外訓練的情況下，對新的、未見過的數據（如非人類主體）進行生成，這表明模型能夠從訓練數據中學習到通用的背景生成策略。

ActAnywhere的工作原理

ActAnywhere通過以下的步驟和組件，能夠生成具有高度現實感和時間連貫性的視頻背景：

1. 數據準備：
   • 使用前景主體分割算法（如Mask R-CNN）從輸入視頻中獲取前景主體的分割序列（S）和對應的掩膜（M）。
   • 引入一個條件幀（c），這是一個描述所需生成背景的圖像，可以是背景圖像或包含前景和背景的複合幀。
2. 特徵編碼：
   • 使用預訓練的變分自編碼器（VAE）將前景主體分割序列編碼爲潛在特徵（ˆS）。
   • 將前景掩膜序列下采樣並與潛在特徵對齊，以匹配特徵維度。
3. 擴散過程：
   • 在訓練過程中，使用VAE編碼器將原始視頻幀編碼爲潛在表示（Z），然後在正向擴散過程中逐漸添加高斯噪聲。
   • 在測試時，潛在表示（Z0）初始化爲高斯噪聲，並通過逆向擴散過程逐步去噪，以生成最終的視頻幀。
4. 時間注意力機制：
   • 在去噪的U-Net中插入一系列運動模塊，這些模塊包含特徵投影層和1D時間自注意力塊，以實現時間上的連貫性。
   • 條件幀的特徵（Fc）通過CLIP圖像編碼器提取，並注入到U-Net的交叉注意力層中，以確保生成的視頻背景與條件幀保持一致。
5. 訓練目標：
   • 使用簡化的擴散目標進行訓練，即預測添加的噪聲。通過最小化預測噪聲與真實噪聲之間的差異來訓練模型。
6. 數據增強和處理：
   • 在訓練過程中，爲了處理不完美的分割掩膜，應用隨機矩形裁剪和圖像腐蝕操作。
   • 在測試時，通過隨機丟棄分割、掩膜或條件幀來實現無分類器的引導。
7. 模型訓練：
   • 在大規模人類-場景交互視頻數據集（HiC+）上進行訓練，該數據集包含240萬個視頻。
   • 使用AdamW優化器，固定學習率爲3e-5，凍結共享的VAE和CLIP編碼器，微調U-Net。
8. 生成過程：
   • 在測試時，將前景主體序列和條件幀輸入到訓練好的模型中，模型將生成與前景主體運動相協調的視頻背景。

ActAnywhere的應用場景

• 視頻背景替換：ActAnywhere可以將視頻中的前景主體放置到全新的背景中，這對於電影製作、廣告、虛擬現實（VR）和增強現實（AR）等領域非常有用。例如，可以將演員置於虛構的場景中，或者在不實際拍攝的情況下模擬特定環境。
• 視覺效果增強：在視覺效果（VFX）製作中，ActAnywhere可以用來生成複雜的背景效果，如動態天氣、光影變化、人羣互動等，而無需實際拍攝這些元素。
• 創意內容製作：藝術家和內容創作者可以使用ActAnywhere來快速嘗試和實現他們的創意想法，例如，將角色置於不同的歷史時期或未來世界，或者與虛構的生物互動。
• 教育和培訓：在教育領域，ActAnywhere可以用來創建模擬場景，幫助學生更好地理解複雜的概念或歷史事件，或者用於安全培訓，模擬緊急情況。
• 遊戲和娛樂：遊戲開發者可以利用ActAnywhere生成動態背景，爲玩家提供更加豐富和真實的遊戲體驗。同時，它也可以用於電影預告片、音樂視頻和其他娛樂內容的製作。