Ming-omni-tts – 螞蟻集團開源的統一音頻生成模型

Ming-omni-tts是什麼

Ming-omni-tts 是螞蟻集團開源的統一音頻生成模型，採用自迴歸架構實現語音、音樂和音效的聯合生成。模型支持通過自然語言指令對語速、音調、音量、情感和方言進行細粒度控制，粵語方言控制準確率達93%，情感控制準確率46.7%，超越CosyVoice3。技術上採用統一連續音頻Tokenizer和Diffusion Transformer架構，以12.5Hz幀率處理多模態音頻，通過”Patch-by-Patch”壓縮策略將LLM推理幀率降至3.1Hz，在降低延遲的同時保持音質。16.8B參數版本在Seed-tts-eval中文測試集上WER僅0.83%，超越SeedTTS和GLM-TTS。模型內置100+優質音色，支持零樣本聲音設計，提供Docker鏡像和Gradio演示，適用於有聲書、播客、多語言內容創作等場景。

Ming-omni-tts的主要功能

• 統一多模態音頻生成：業界首個自迴歸模型，可在單通道中聯合生成語音、環境音和音樂，實現”身臨其境”的聽覺體驗。
• 細粒度語音控制：支持通過簡單指令精確控制語速、音調、音量、情感和方言，粵語方言控制準確率高達93%，情感控制準確率達46.7%。
• 智能聲音設計：內置100+優質音色，支持通過自然語言描述進行零樣本聲音設計。
• 高效推理優化：採用”Patch-by-Patch”壓縮策略，將LLM推理幀率降至3.1Hz，顯著降低延遲。
• 專業文本歸一化：準確解析和朗讀複雜數學表達式、化學方程式等專業格式，內部測試集CER僅1.97%。
• 多語言支持：支持中文、英文等多種語言的語音合成與跨語言遷移。
• 零樣本TTS：僅需3-10秒參考音頻即可克隆任意音色，在Seed-tts-eval上WER低至0.83%。

Ming-omni-tts的技術原理

• 統一連續音頻Tokenizer：基於VAE的連續Tokenizer，以12.5Hz幀率將語音、音樂和通用音頻整合到統一潛空間，支持多模態音頻的聯合建模。
• Diffusion Transformer (DiT) Head：採用擴散頭架構增強音頻生成質量，提升音質細膩度和自然度。
• Patch生成策略：採用patch大小爲4、回溯歷史爲32的生成策略，在局部聲學細節和長期結構連貫性之間取得平衡。
• 自迴歸生成架構：業界首個在單通道中聯合生成語音、音樂和音效的自迴歸模型，實現統一音頻生成。
• “Patch-by-Patch”壓縮機制：通過壓縮策略將LLM推理幀率從原始頻率降至3.1Hz，大幅降低計算延遲和推理成本。
• 指令微調對齊：通過指令微調實現對語速、音調、音量、情感和方言的細粒度控制，支持自然語言指令解析。

Ming-omni-tts的項目地址

Ming-omni-tts的應用場景

• 有聲書與播客製作：支持長文本語音合成，Podcast TTS任務CER僅1.84%，適合有聲讀物、新聞播報和播客內容生成。
• 多語言內容創作：支持中文、英文等多語言語音合成與跨語言音色遷移，滿足全球化內容生產需求。
• 遊戲音效設計：可聯合生成語音、環境音和音樂，爲遊戲場景提供沉浸式音頻體驗。
• 教育培訓領域：準確朗讀複雜數學表達式、化學方程式等專業內容，適用於在線教育課件和學術講解。
• 智能客服與助手：內置100+優質音色，支持零樣本聲音克隆，可快速定製品牌專屬語音助手。
• 廣告與營銷配音：通過情感控制和方言支持，生成富有感染力的廣告配音和本地化營銷內容。