HouseCrafter – 東北大學和 Stability AI推出2D轉換3D室內場景的技術

HouseCrafter是什麼

HouseCrafter 是由東北大學和 Stability AI 推出的先進技術，將二維平面圖自動轉換成三維室內場景。基於一個網絡規模圖像訓練的2D擴散模型，生成一致的多視圖彩色（RGB）和深度（D）圖像。圖像自迴歸地批量生成，確保全局一致性，重建出高質量的3D場景。簡化複雜虛擬環境的創建過程，基於用戶交互功能，支持用戶在平面圖上移動傢俱輕鬆編輯場景佈局，實時更新生成的3D場景。使HouseCrafter在建築、室內設計和房地產等領域具有廣泛的應用潛力。

HouseCrafter的主要功能

• 平面圖到3D場景的轉換：將2D平面圖轉換成完整的3D室內場景，如房屋模型。
• 多視圖圖像生成：生成場景在不同位置的一致多視圖RGB和深度（RGB-D）圖像。
• 自迴歸圖像生成：先前生成的圖像用作條件，指導生成相鄰位置的新圖像。
• 全局一致性：通過全局平面圖和注意力機制確保生成圖像的一致性。
• 3D場景重建：基於TSDF融合技術，從生成的RGB-D圖像重建出3D網格模型。
• 用戶交互和編輯：允許用戶在平面圖上移動傢俱等元素編輯場景佈局，3D視圖會相應更新。

HouseCrafter的技術原理

• 2D擴散模型：基於大規模網絡圖像訓練的2D擴散模型，調整爲生成RGB-D圖像。
• 自迴歸批量生成：基於先前生成的圖像，批量生成新圖像，確保空間連貫性。
• 佈局引導：用平面圖作爲全局佈局引導，通過佈局注意力層確保生成圖像與平面圖一致。
• 深度信息融合：在圖像生成過程中同時考慮RGB和深度信息，提高几何和語義的一致性。
• 注意力機制：更新交叉注意力層，基於參考深度的幾何信息，提升圖像生成質量。
• 3D重建算法：基於TSDF融合技術，將多視圖RGB-D圖像轉換成3D網格。

HouseCrafter的項目地址

• 項目官網：neu-vi.github.io/houseCrafter
• arXiv技術論文：https://arxiv.org/pdf/2406.20077

HouseCrafter的應用場景

• 建築設計與規劃：幫助建築師和設計師快速將平面圖轉換爲3D模型，更好地進行空間規劃和設計評審。
• 室內設計：室內設計師創建和修改室內設計方案，預覽傢俱擺放和裝飾效果。
• 房地產營銷：房地產開發商基於HouseCrafter生成的3D模型爲客戶提供虛擬房屋參觀，增強營銷材料的吸引力。
• 遊戲開發：遊戲設計師快速構建複雜的3D遊戲環境。
• 虛擬現實 (VR) 和增強現實 (AR)：爲虛擬現實和增強現實應用提供詳細的3D室內場景，提升用戶體驗。
• 電影和動畫製作：快速生成電影或動畫所需的3D場景，提高製作效率。