PrismAudio – 阿里通義推出的視頻生成音頻框架

PrismAudio的核心優勢

• 四維協同優化：首創分解式思維鏈，將語義、時序、美學、空間四個維度獨立建模並協同優化，避免傳統模型”顧此失彼”的弊端，實現音畫高度統一。
• 先思考再發聲：突破端到端黑箱生成模式，模型先輸出結構化推理文本（聲音內容、時機、質感、方位），再生成音頻，過程可解釋、可控制。
• 高效輕量：僅5.18億參數，生成9秒音頻僅需0.63秒，速度比同類模型快近一倍，更適合實時應用場景。
• 複雜場景魯棒：在自建的AudioCanvas複雜場景基準上表現遠超現有方法，多事件、多聲源場景下仍能保持穩定輸出。

如何使用PrismAudio

• 在線體驗（推薦新手）：訪問 Hugging Face 在線體驗Demo，上傳無聲視頻，可選輸入文本描述輔助生成，AI自動生成音頻文件。
• 本地部署：從 GitHub 或 Hugging Face 下載開源代碼與模型權重，安裝依賴環境後加載預訓練模型，輸入視頻路徑調用推理接口生成音頻，支持自定義調整思維鏈參數或獎勵權重。

PrismAudio的項目地址

• 項目官網：https://prismaudio-project.github.io/
• GitHub倉庫：https://github.com/FunAudioLLM/ThinkSound/tree/prismaudio
• HuggingFace模型庫：https://huggingface.co/FunAudioLLM/PrismAudio
• arXiv技術論文：https://arxiv.org/pdf/2511.18833
• 在線體驗Demo：https://huggingface.co/spaces/FunAudioLLM/PrismAudio

PrismAudio的同類競品對比

PrismAudio的應用場景

• 影視後期：爲電影、紀錄片、預告片自動生成環境音效，替代傳統擬音工作，降低後期製作成本和時間。
• 短視頻創作：爲Vlog、美食、旅行等無聲視頻快速配上氛圍音，增強ASMR和治癒類內容的沉浸感與傳播效果。
• 遊戲開發：爲過場動畫和CG宣傳片生成動態音效，根據森林、城市、戰場等場景實時匹配環境音，減少音效師重複勞動。
• 廣告營銷：爲產品展示視頻自動添加操作音效，支持快速迭代多版本音軌，提升廣告測試效率和創意靈活性。
• 教育培訓：爲教學視頻和操作演示補充提示音與背景音，豐富多媒體課件的聽覺體驗，提高學習專注度和信息吸收率。