HumanVid – 專爲人類圖像動畫生成而設計的高質量數據集

HumanVid是什麼

HumanVid是香港中文大學和上海人工智能實驗室共同推出的高質量數據集，專爲人類圖像動畫訓練設計。結合了現實世界視頻和合成數據，通過精心設計的規則篩選高質量視頻，並使用2D姿勢估計和SLAM技術進行註釋。HumanVid旨在提高視頻生成的控制性和穩定性，通過基線模型CamAnimate驗證了其有效性，在控制人物姿勢和攝像機運動方面達到了先進水平。項目計劃在2024年9月底公開代碼和數據集。

HumanVid的主要功能

• 高質量數據集成：結合了現實世界和合成數據，確保數據集的豐富性和多樣性。
• 版權自由：所有視頻和3D頭像資產都是無版權的，便於研究和使用。
• 規則篩選：通過規則篩選機制，確保數據集中的視頻具有高質量。
• 人體和攝像機運動註釋：使用2D姿勢估計和SLAM技術對視頻中的人體和攝像機運動進行精確註釋。

HumanVid的技術原理

• 數據集構建：HumanVid通過從互聯網上收集大量版權免費的現實世界視頻，並結合合成數據來構建數據集。視頻經過精心設計的規則篩選，確保了數據集的高質量。
• 註釋技術：使用2D姿勢估計器對視頻中的人體動作進行註釋，同時採用基於SLAM（Simultaneous Localization and Mapping，即同時定位與建圖）的方法來註釋攝像機的運動。
• 合成數據生成：爲了增加數據集的多樣性，HumanVid收集了版權免費的3D頭像資產，並引入了基於規則的攝像機軌跡生成方法，模擬不同的攝像機運動。
• 模型訓練：HumanVid建立了一個基線模型CamAnimate，考慮了人體和攝像機運動作爲條件，通過在HumanVid數據集上的訓練，能夠生成具有控制人物姿勢和攝像機運動的視頻。

HumanVid的項目地址

HumanVid的應用場景

• 視頻製作：爲電影、電視和其他視頻內容製作提供高質量的動畫生成，支持導演和製片人通過控制人物姿勢和攝像機運動來創作更加生動和逼真的場景。
• 遊戲開發：在電子遊戲中，HumanVid可以生成逼真的NPC（非玩家角色）動畫，提高遊戲的沉浸感和交互性。
• VR和AR：在VR和AR應用，HumanVid可生成與用戶互動的虛擬角色，提供更加自然和流暢的體驗。
• 教育和培訓：HumanVid可以創建教學視頻，模擬人物動作和場景，幫助學生更好地理解和學習複雜的概念。