I2VEdit – AI視頻編輯技術，基於擴散模型實現首幀編輯引導

I2VEdit是什麼

I2VEdit是一個先進的視頻編輯框架，通過圖像到視頻的擴散模型實現首幀引導的視頻編輯。用戶只需編輯視頻的第一幀，I2VEdit能自動將編輯效果應用到整個視頻。I2VEdit由南洋理工大學、商湯科技研究院和上海人工智能實驗室共同推出，能保持視頻的時間和運動一致性，同時提供高質量的編輯結果。I2VEdit適合進行局部和全局編輯任務，如更換服裝、添加配飾或風格轉換，簡化視頻編輯過程。

I2VEdit的主要功能

• 首幀編輯引導：用戶編輯視頻的第一幀，I2VEdit將編輯自動擴展到整個視頻。
• 運動一致性：保持編輯後視頻與原視頻的運動連貫性。
• 靈活編輯：支持局部編輯（如更換對象）和全局編輯（如風格轉換）。
• 高質量輸出：生成與第一幀編輯一致且時間上連貫的高質量視頻。

I2VEdit的技術原理

• 粗運動提取：基於訓練運動LoRA（低秩適應）模型學習視頻中的粗略運動模式。
• 外觀細化：用細粒度的注意力匹配算法進行精確的外觀調整。
• 平滑區域隨機擾動（SARP）：對視頻中的平滑區域添加隨機擾動，改善從圖像到視頻的轉換質量。
• 間隔跳過策略：在處理長視頻時，採用間隔跳過策略以減少自迴歸生成過程中的質量下降。
• 擴散模型：基於預訓練的圖像到視頻擴散模型，將編輯從第一幀傳播到整個視頻。

I2VEdit的項目地址

• 項目官網：i2vedit.github.io
• arXiv技術論文：https://arxiv.org/pdf/2405.16537

I2VEdit的應用場景

• 社交媒體內容創作：內容創作者快速更改視頻中的元素，如服飾、背景，匹配特定的主題或品牌。
• 視頻後期製作：電影和視頻製作人員用I2VEdit快速進行風格轉換或場景更改，提高後期製作的效率。
• 虛擬試穿：在時尚和零售領域，顧客觀看模特穿着不同服飾的視頻，商家快速生成多個試穿效果。
• 主題替換：在教育和培訓視頻中，輕鬆替換演示的主角或背景，適應不同的教學場景。
• 風格轉換：藝術家和設計師探索不同的視覺風格，如將現實視頻轉換成卡通風格，而無需手動重繪每一幀。
• 特效製作：在視頻製作中，I2VEdit快速應用特效，如改變視頻中物體的顏色或添加特殊效果。