ProPainter – 南洋理工大學推出的AI視頻修復項目

ProPainter是什麼

ProPainter是南洋理工大學S-Lab團隊推出的AI視頻修復項目。通過結合雙域傳播和蒙版引導的稀疏視頻Transformer，有效提高了視頻修復的性能。ProPainter能自動從視頻中去除不需要的物體，填補缺失部分，甚至擴展視頻視野，提供高質量的視覺內容。適合電影后期製作、歷史視頻資料修復以及社交媒體內容創作等領域。

ProPainter的主要功能

• 對象移除：能從視頻中自動檢測並去除不需要的物體，如廣告牌、行人等，同時保持背景的連貫性和自然性。
• 視頻補全：對於視頻採集或傳輸過程中損壞或缺失部分，ProPainter能智能預測填補，恢復視頻完整性和流暢性。
• 視頻外擴：技術能擴展視頻的現有視野，根據視頻內容智能生成新的背景和場景，提供更寬廣的視覺體驗。

ProPainter的技術原理

• 雙域傳播：結合了圖像域和特徵域的傳播優勢，利用全局對應關係進行可靠的信息傳播。圖像傳播使用基於光流的變形對齊技術，進行全局像素級傳播。特徵傳播採用學習到的偏移量來細化特徵域中的傳播，提高對遮擋和不準確光流的魯棒性。
• 蒙版引導稀疏視頻Transformer：利用稀疏注意力機制減少計算複雜度和內存使用，通過丟棄查詢和鍵/值空間中的不必要和冗餘窗口。僅對與掩碼區域相交的查詢窗口應用注意力機制，以及在鍵/值空間中採用時間步長來選擇性地包含幀。
• 循環光流完成網絡：高效的循環網絡用於完成損壞的光流場，爲後續的雙域傳播提供精確的光流信息。該網絡使用可變形對齊技術來雙向傳播鄰近幀的光流信息，完成光流場。
• 高效性設計：ProPainter的設計注重效率，通過GPU加速實現高效的圖像傳播和特徵傳播。通過簡化和優化操作，減少了CPU中心複雜和耗時的處理過程。

ProPainter的項目地址

• GitHub倉庫：https://github.com/sczhou/ProPainter
• 項目地址：https://shangchenzhou.com/projects/ProPainter/
• arXiv技術論文：https://arxiv.org/pdf/2309.03897

如何使用ProPainter

• 環境準備：確保環境安裝了Python和必要的庫，如PyTorch。創建並激活虛擬環境以隔離項目依賴。
• 依賴安裝：根據ProPainter項目的要求安裝所需的Python庫。
• 代碼獲取：通過Git克隆ProPainter的GitHub倉庫到本地。
• 權重下載：下載預訓練的權重文件，權重是模型訓練完成後的參數。
• 數據準備：準備需要進行視頻修復的視頻文件和對應的掩碼圖（如果有特定區域需要修復）。
• 配置文件設置：根據數據和需求調整配置文件中的參數。
• 模型推理：使用訓練好的模型對視頻進行推理，實現視頻修復、對象移除或視頻補全等功能。

ProPainter的應用場景

• 電影和視頻製作：在後期視頻編輯中，ProPainter可以去除不需要的物體或標誌，比如廣告牌或穿幫鏡頭，同時補全因技術問題導致的畫面缺失部分。
• 歷史視頻資料修復：對於老舊或損壞的視頻資料，ProPainter能填補缺失的幀或區域，恢復視頻的原始面貌。
• 社交媒體內容創作：內容創作者可以用ProPainter去除視頻中的水印，提升視頻的視覺效果和創意表達。
• 虛擬現實和增強現實：在VR和AR應用中，ProPainter可以擴展視頻視野，創造更加沉浸式的視覺體驗。
• 視頻監控和安全：在視頻監控領域，ProPainter可以去除遮擋物或填補遮擋造成的盲區，提高監控視頻的可用性。
• 醫學成像分析：在醫學領域，ProPainter可用於填補醫學影像中的缺失部分，幫助醫生進行更準確的診斷。