ViewCrafter – 北大、港中文聯合騰訊提出的高保真新視圖合成技術

ViewCrafter是什麼

ViewCrafter 是北大和港中文聯合騰訊提出的一種先進的視頻擴散模型，能從單個或少量圖像中合成高保真的新視圖。結合了視頻擴散模型的生成能力和基於點的3D表示，精確控制相機姿態生成高質量視頻幀。通過迭代視圖合成策略和相機軌跡規劃，ViewCrafter 能逐步擴展3D線索，生成更廣泛的新視圖。在多個數據集上展現了強大的泛化能力和性能，爲實時渲染的沉浸式體驗和場景級文本到3D生成等應用提供了新的可能性。

ViewCrafte的主要功能

• 新視圖合成：從單個或少量圖像中合成新的視圖，擴展用戶的視角。
• 三維場景重建：重建場景的三維結構，爲新視圖的生成提供幾何基礎。
• 內容創作：支持文本描述或其他創意輸入生成三維場景，增強內容創作的靈活性。
• 實時渲染：優化三維場景表示，實現實時渲染，適用虛擬現實和增強現實應用。
• 數據集泛化：在多個數據集上驗證模型性能，確保在不同場景下的泛化能力。

ViewCrafte的技術原理

• 點雲重建：基於密集立體視覺算法從輸入圖像中提取深度信息，構建場景的三維點雲模型。
• 視頻擴散模型：用深度學習中的生成模型，特別是擴散模型，生成新的視圖。逐步從噪聲圖像中恢復出清晰的圖像。
• 迭代視圖合成：不斷優化新視圖的生成，每次迭代包括生成新視圖和更新點雲模型。
• 攝像機軌跡規劃：自動規劃攝像機的移動軌跡，從不同角度捕捉場景，生成更全面的視圖。
• 三維場景理解：通過點雲和生成模型結合，理解場景的三維結構，生成與原始場景一致的新視圖。

ViewCrafte的項目地址

• 項目官網：https://drexubery.github.io/ViewCrafter/
• GitHub倉庫：https://github.com/Drexubery/ViewCrafter
• arXiv技術論文：https://arxiv.org/pdf/2409.02048v1
• HuggingFace Demo體驗：https://huggingface.co/spaces/Doubiiu/ViewCrafter

ViewCrafte的應用場景

• 影視製作：生成特效鏡頭中的新視角，在後期製作中增強場景的視覺效果。
• 遊戲開發：電子遊戲創建逼真的遊戲環境和背景，提供更加沉浸式的遊戲體驗。
• 虛擬現實（VR）：在虛擬現實應用中，ViewCrafter 生成360度全景圖像，增強用戶的沉浸感。
• 增強現實（AR）：在現實世界中無縫地融入虛擬對象，提供更加豐富的交互體驗。
• 建築可視化：幫助設計師從不同角度展示建築模型，提供更加直觀的設計評估。