Step1X-3D – 階躍星辰聯合LightIllusions開源的3D資產生成框架

Step1X-3D是什麼

Step1X-3D 是StepFun聯合LightIllusions推出的高保真、可控的 3D 資產生成框架。基於嚴格的數據整理流程，從超過 500 萬個 3D 資產中篩選出 200 萬個高質量數據，創建標準化的幾何和紋理屬性數據集。Step1X-3D 支持多模態條件輸入，如文本和語義標籤，基於低秩自適應（LoRA）微調實現靈活的幾何控制。Step1X-3D 推動了 3D 生成技術的發展。

Step1X-3D的主要功能

• 高保真度和可控的3D資產生成：生成具有高保真度幾何形狀和多樣化紋理貼圖的3D資產，保持表面幾何與紋理映射之間的卓越對齊。
• 支持多種條件輸入：支持多種條件輸入，如多視圖、邊界框和骨骼等，實現更靈活的3D資產生成。
• 開源性：提供技術報告、推理代碼和模型權重、訓練代碼的開源。

Step1X-3D的技術原理

• 數據整理：基於多維度過濾條件，精準篩選出高質量的3D資產，運用繞數技術，提升網格到SDF轉換的成功率，確保幾何監督的準確性。
• 幾何生成：藉助基於感知器的潛在編碼和銳邊採樣策略，生成高保真度的TSDF表示，基於整流流變換器進行高效擴散模型訓練，保障幾何生成的穩定性和高效性。
• 紋理生成：用預訓練的多視圖圖像生成模型爲基礎，結合幾何引導，生成多視圖一致的紋理，引入紋理空間同步模塊，實現潛在空間對齊，確保紋理與幾何的精確對齊，運用紋理修復技術處理UV映射中的僞影，實現無縫紋理合成。
• 可控性：基於LoRA微調技術，實現靈活的幾何控制，支持對稱性、幾何細節級別等控制，兼容多模態條件輸入，增強生成的可控性和多樣性。

Step1X-3D的項目地址

• GitHub倉庫：https://github.com/stepfun-ai/Step1X-3D
• HuggingFace模型庫：https://huggingface.co/stepfun-ai/Step1X-3D
• arXiv技術論文：https://arxiv.org/pdf/2505.07747
• 在線體驗Demo：https://huggingface.co/spaces/stepfun-ai/Step1X-3D

Step1X-3D的應用場景

• 遊戲開發：生成高保真3D模型，快速製作原型，支持個性化內容，提升視覺效果和玩家體驗。
• 影視製作：用在虛擬場景、角色和特效的生成，加速製作流程，提高視覺質量。
• 虛擬現實（VR）和增強現實（AR）：創建沉浸式3D環境和交互式內容，增強用戶體驗。
• 建築設計：生成虛擬建築和室內設計模型，輔助城市規劃，提升設計展示效果。
• 教育和培訓：構建虛擬實驗室、歷史文化遺產模型和技能培訓環境，提供直觀互動的學習體驗。