WonderWorld – 斯坦福和MIT聯合推出的生成多樣化連貫3D場景AI框架

WonderWorld是什麼

WonderWorld是斯坦福大學和麻省理工學院共同推出的創新性3D場景生成框架，能從單張圖片快速生成多樣化且連貫的3D虛擬世界。基於核心的Fast LAyered Gaussian Surfels (FLAGS)表示法和引導深度擴散技術，框架在不到10秒的時間內完成場景的生成，極大地提高3D場景創建的速度，保證新舊場景之間的幾何一致性。用戶實時地用文本指令和相機移動交互式地塑造和探索虛擬環境，讓WonderWorld在遊戲開發、虛擬現實和創意設計等領域具有廣泛的應用潛力。

WonderWorld的主要功能

• 快速3D場景生成：從單張圖片快速生成3D場景，用戶能實時渲染和探索。
• 交互式控制：用戶基於移動相機和輸入文本提示指定生成場景的內容和位置。
• 多樣化場景創建：支持生成具有不同風格和元素的3D場景，如城市、自然、幻想等。
• 實時用戶交互：在實時渲染的同時，支持用戶與生成的場景進行互動，如移動和旋轉視角。
• 連貫場景連接：新生成的場景能與現有場景在幾何上保持連貫，形成統一的虛擬世界。
• 用戶驅動的內容創作：用戶根據自己的想象和需求，創造出個性化的虛擬環境。

WonderWorld的技術原理

• Fast LAyered Gaussian Surfels (FLAGS)：新穎的場景表示方法，用分層設計和基於幾何的初始化加速場景的生成和優化。
• 單視圖層生成：用文本引導的擴散模型和單視圖圖像來生成場景圖像，用分層方法填補場景中的遮擋區域。
• 基於幾何的初始化：基於估算單目相機的法線和深度信息，快速初始化場景中每個層的幾何參數，減少優化時間。
• 引導深度擴散：一種訓練自由的方法，用部分可見的深度信息引導深度估計，生成與現有場景幾何一致的新場景。
• 實時渲染：在用戶交互過程中，能實時渲染相機移動和文本提示生成的場景，提供流暢的用戶體驗。

WonderWorld的項目地址

• 項目官網：kovenyu.com/wonderworld
• arXiv技術論文：https://arxiv.org/pdf/2406.09394

WonderWorld的應用場景

• 遊戲開發：遊戲設計師快速生成和迭代3D遊戲世界，提高遊戲設計的效率，支持玩家探索由AI輔助生成的開放世界。
• 虛擬現實（VR）：在虛擬現實應用中，創建沉浸式的3D環境，讓用戶體驗到豐富多樣的虛擬場景，如虛擬旅遊、教育或訓練模擬。
• 增強現實（AR）：結合AR技術，WonderWorld能夠爲現實世界中的場景增添虛擬元素，爲用戶帶來增強的互動體驗。
• 電影和娛樂：在電影製作和動畫中，快速生成電影級的3D背景和場景，減少傳統建模和渲染的時間。
• 建築設計和規劃：建築師和城市規劃師用WonderWorld創建和展示設計方案，讓客戶在虛擬環境中預覽建築或城市的發展藍圖。