UniRig – 清華聯合 VAST 開源的通用自動骨骼綁定框架

UniRig是什麼

UniRig是清華大學計算機系和VAST聯合推出的創新自動骨骼綁定框架，用在處理複雜和多樣化的3D模型。基於大型自迴歸模型和骨骼點交叉注意力機制，生成高質量的骨骼結構和蒙皮權重。框架引入Rig-XL數據集，包含超過14,000個3D模型，涵蓋多種類別，用在訓練和評估。UniRig在骨骼綁定精度和運動精度上顯著優於現有的學術和商業方法，支持無縫應用在從動漫角色到複雜有機和無機結構的各種對象類別，極大地提高動畫製作的效率。

UniRig的主要功能

• 自動骨骼生成：爲各種3D模型（如人類、動物、虛構角色等）生成拓撲結構正確的骨骼樹。
• 蒙皮權重預測：預測每個骨骼對網格頂點的影響權重，確保網格在骨骼動畫驅動下自然變形。
• 支持多樣化模型：適用於多種類型的3D模型，包括複雜的有機和無機結構。
• 高效動畫製作：提高動畫製作的效率，減少手動操作的時間和工作量。
• 動態效果支持：生成支持物理模擬的骨骼屬性（如彈簧骨骼）。

UniRig的技術原理

• 骨骼樹標記化：將骨骼樹結構轉換爲序列化的標記，便於自迴歸模型高效處理。基於特殊標記（如<type>）表示骨骼類型（如彈簧骨骼、模板骨骼），用深度優先搜索（DFS）算法提取線性骨骼鏈，緊湊地表示骨骼結構。骨骼樹標記化能減少序列長度，提高模型的訓練和推理效率。
• 自迴歸模型：基於Transformer的自迴歸模型（如Skeleton Tree GPT）預測骨骼樹。模型逐個生成標記構建骨骼樹，確保生成的骨骼結構在拓撲上是有效的。模型的輸入包括從3D網格採樣的點雲和可選的類別信息，輸出是表示骨骼樹的標記序列。
• 骨骼點交叉注意力機制：基於點雲編碼器和骨骼編碼器分別提取點雲和骨骼樹的特徵，用交叉注意力機制結合特徵預測蒙皮權重。
• 大規模數據集：爲訓練和評估UniRig，研究者們構建Rig-XL數據集，包含超過14,000個3D模型，涵蓋多種類別。數據集的多樣性和規模讓UniRig能學習到不同類型的骨骼結構和蒙皮權重，提高模型的泛化能力。
• 物理模擬輔助訓練：在訓練過程中引入物理模擬，基於模擬骨骼在物理力（如重力、彈性力）下的運動，評估預測的蒙皮權重和骨骼屬性的合理性。間接監督方法能引導模型學習逼真的蒙皮權重，提高動畫的真實感。

UniRig的項目地址

• 項目官網：https://zjp-shadow.github.io/works/UniRig/
• GitHub倉庫：https://github.com/VAST-AI-Research/UniRig
• HuggingFace模型庫：https://huggingface.co/VAST-AI/UniRig
• arXiv技術論文：https://zjp-shadow.github.io/works/UniRig/static/supp/UniRig.pdf

UniRig的應用場景

• 動畫製作：快速生成骨骼和蒙皮權重，減少手動操作，提升動畫製作效率。
• 虛擬角色：爲虛擬角色（如VTuber）生成自然流暢的骨骼綁定，支持實時動畫。
• 遊戲開發：快速生成角色和物體的骨骼綁定，支持動態效果，提升遊戲視覺效果。
• 3D內容創作：適用建築設計、工業設計等，支持多樣化3D模型的骨骼綁定。
• 教育領域：作爲教學工具，幫助學習者快速掌握骨骼動畫的基本概念。