Movie Gen – Meta推出文本驅動的AI視頻生成與編輯工具

Movie Gen是什麼

Movie Gen 是 Meta 推出的一種新型AI工具，能根據文本提示生成和編輯視頻，爲視頻配上同步音頻。技術包括創建長達16秒的高清視頻、爲現有視頻配上音頻、編輯視頻以及基於照片製作定製視頻。Movie Gen 的視頻生成模型參數爲30B，能生成每秒16幀的視頻。音頻生成模型參數爲13B，能生成長達45秒的高質量音頻，包括環境聲音、音效和樂器背景音樂。工具僅限公司內部員工及少數合作伙伴使用，Meta計劃未來整合到現有應用中，提高用戶參與度。

Movie Gen的主要功能

• 視頻生成：用戶輸入文本提示， Movie Gen 生成長達16秒的高清視頻。視頻根據文本描述自動創建，適應不同的長寬比和分辨率。
• 個性化視頻生成：用戶上傳照片，Movie Gen 能生成包含該人物特徵的視頻，同時保持人物身份和動作的一致性。
• 精確視頻編輯：Movie Gen 支持用戶通過文本指令對視頻進行精確編輯，包括添加、刪除或替換視頻中的元素，以及進行背景或風格的變化。
• 音頻生成：Movie Gen 能爲視頻生成同步的高質量音頻，包括環境音效、擬音效果（Foley sounds）和樂器背景音樂。音頻與視頻內容相匹配，根據文本提示生成。

Movie Gen的技術原理

• 模型架構：Movie Gen 包括兩個主要的基礎模型，Movie Gen Video（視頻生成）和 Movie Gen Audio（音頻生成）。
• 預訓練：模型在大量的互聯網圖像、視頻和音頻數據上進行預訓練，學習視覺和聽覺世界的各種概念。
• 流匹配（Flow Matching）：用流匹配訓練目標訓練生成模型，一種迭代更新樣本的方法，用在生成數據。
• 變分自編碼器（VAE）：用變分自編碼器將視頻和圖像壓縮到一個學習到的潛在空間中，提高訓練和推理效率。
• 文本嵌入：用預訓練的文本編碼器將輸入文本轉換爲文本嵌入，作爲模型的條件輸入。
• 多模態輸入：模型能處理包括文本、圖像和視頻在內的多種輸入類型，生成相應的輸出。

Movie Gen的項目地址

• 項目官網：ai.meta.com/blog/movie-gen
• 技術論文：https://ai.meta.com/static-resource/movie-gen-research-paper

Movie Gen的應用場景

• 內容創作：爲社交媒體、博客或視頻分享平台創作獨特的視頻內容。
• 電影和視頻製作：在預生產階段生成概念視頻，或者在後期製作中進行快速編輯和音頻混合。
• 廣告和營銷：快速生成吸引人的廣告視頻，吸引潛在客戶的注意力。
• 教育和培訓：創建教育內容，如模擬實驗、歷史重現或語言學習材料。
• 遊戲開發：爲遊戲內的視頻內容、預告片或宣傳材料生成視頻和音頻。
• 新聞和報道：快速生成新聞故事的視覺內容，提高報道的吸引力。