Motionshop – 阿里推出的AI角色動畫項目，可替換視頻人物爲3D

Motionshop是什麼

Motionshop是阿里巴巴智能計算研究院（XR實驗室和TIDE三維渲染團隊）推出的一個AI角色動畫框架，可將視頻中的人物角色替換爲3D化身，同時不改變視頻中的其他場景和人物。該框架利用視頻處理、角色檢測/分割/追蹤、姿態分析、模型提取和動畫渲染等多種技術，使得動態視頻中的主角能夠輕鬆跨越現實與虛擬的界限，一鍵變身爲有趣的3D角色模型。

官方項目主頁：https://aigc3d.github.io/motionshop/

在線體驗入口：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

Motionshop的功能特色

• 視頻人物替換爲3D化身：用戶只需上傳視頻，AI便能智能識別視頻中的主要人物，並將其無縫轉換爲生動的3D角色模型。
• 動作同步與真實感：Motionshop不僅替換人物，還能精確復刻原視頻中人物的動作細節，確保3D角色的動作流暢自然，提供高度逼真的視覺效果。
• 現實與虛擬的無縫融合：通過Motionshop，現實世界的人物與3D虛擬角色得以完美融合，創造出跨越現實與虛擬界限的全新體驗，爲視頻內容增添無限可能。

Motionshop的工作原理

Motionshop框架由兩部分構成，一個是用於提取修復背景視頻序列的視頻處理流程，另一個是用於生成3D虛擬角色視頻序列的姿態估計和渲染流程。通過並行兩條線並使用高性能光線追蹤渲染器TIDE ，整個視頻替換過程可以在幾分鐘內完成。

具體的技術如下：

1. 角色檢測：首先，Motionshop利用先進的算法精確識別視頻中的角色，確保後續處理的準確性。
2. 視頻對象分割和跟蹤：在角色檢測的基礎上，系統進一步對視頻對象進行像素級的分割和跟蹤，爲後續的修復和替換做好準備。
3. 視頻修復：採用先進的視頻修復技術，將背景視頻序列中的瑕疵和不完美之處進行修復
4. 姿態估計：通過應用CVFFS等高精度姿態估計方法，系統能夠穩定地捕捉角色的動作姿態，爲動畫重定向奠定基礎
5. 動畫映射：在估計出角色的姿態後，Motionshop將這些姿態重新映射到選定的3D模型上，使新模型能夠自然地模擬原始角色的動作
6. 光影估計：爲了確保新模型與原始視頻的光影效果一致，系統會進行精細的光影估計，以實現無縫的視覺融合。
7. 3D渲染：利用TIDE渲染引擎，Motionshop將3D模型渲染成逼真的圖像序列，同時結合運動模糊、時間抗鋸齒等算法，提升渲染質量
8. 視頻合成：最後，將新生成的3D渲染圖像與修復後的視頻背景進行合成，創造出與原始視頻無縫對接的全新視頻序列。

如何使用Motionshop

1. 訪問Motionshop的ModelScope魔搭社區Demo體驗地址：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
2. 準備一段視頻，確保視頻中的人物主體完整，且視頻時長不超過15秒。
3. 上傳視頻後，系統將自動選擇視頻中的人物
4. 選擇你想要用於替換的虛擬角色模型
5. 最後點擊生成視頻按鈕，等待一會兒即可生成結果