ClotheDreamer – 上海大學聯合騰訊等高校推出的3D服裝生成技術

ClotheDreamer是什麼

ClotheDreamer是上海大學、上海交通大學、復旦大學和騰訊優圖實驗室共同推出的3D服裝生成技術，能根據文本描述生成高保真、可穿戴的3D服裝資產。ClotheDreamer用3D高斯爲基礎，基於Disentangled Clothe Gaussian Splatting (DCGS) 實現服裝與人體分離優化，用雙向Score Distillation Sampling (SDS) 提升服裝渲染質量。ClotheDreamer支持自定義服裝模板，讓生成的服裝能適配不同體型，適用於虛擬試穿和物理精確動畫。

ClotheDreamer的主要功能

• 文本驅動的3D服裝生成：根據文本描述自動生成相應的3D服裝模型。
• 高保真渲染：生成的3D服裝具有高度的細節和真實感。
• 可穿戴性：生成的服裝模型是可穿戴的，能用在虛擬試穿。
• 物理精確動畫：支持生成的服裝進行物理精確的動畫效果。
• 自定義模板輸入：支持用戶上傳自定義的服裝模板，生成個性化的3D服裝。
• 適應不同體型：生成的服裝能適配不同體型的虛擬人物。

ClotheDreamer的技術原理

• Disentangled Clothe Gaussian Splatting (DCGS)：新穎的表示方法，將服裝和人體分別表示爲高斯模型，支持獨立的優化和渲染。
• 雙向Score Distillation Sampling (SDS)：用預訓練的2D擴散模型優化3D服裝和人體渲染，分別對服裝和人體RGBD渲染進行指導，提高生成質量。
• 文本描述解析：用語言模型（如ChatGPT）解析文本描述，確定服裝的類型和特徵，爲服裝模型的初始化提供依據。
• 零樣本學習：在沒有看到特定類型的服裝的情況下，生成相應的3D服裝模型。
• 新的修剪策略：針對寬鬆服裝提出的修剪策略，避免在優化過程中錯誤地移除有用的高斯點，保持服裝的完整性。
• 模板引導的服裝生成：用自定義的服裝模板網格引導3D服裝的生成，提高生成過程的個性化和實用性。

ClotheDreamer的項目地址

• 項目官網：ggxxii.github.io/clothedreamer
• GitHub倉庫：https://github.com/ggxxii/clothedreamer
• arXiv技術論文：https://arxiv.org/pdf/2406.16815

ClotheDreamer的應用場景

• 時尚設計：設計師快速生成和迭代3D服裝模型，加速設計過程，在虛擬環境中預覽設計效果。
• 虛擬試穿：在電子商務中，顧客在虛擬環境中試穿服裝，提高購物體驗，減少退貨率。
• 遊戲和娛樂：遊戲開發者爲遊戲角色設計多樣化的服裝，提供更加豐富和個性化的角色定製選項。
• 電影和動畫製作：在電影和動畫產業中，快速生成和動畫化3D服裝，提高製作效率，降低成本。
• 虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，爲用戶提供沉浸式的服裝試穿和設計體驗。