LongCat-AudioDiT – 美團開源的文本轉語音模型

• 環境準備：克隆倉庫執行 pip install -r requirements.txt 安裝依賴。
• 加載模型：通過 AudioDiTModel.from_pretrained("meituan-longcat/LongCat-AudioDiT-1B") 加載預訓練模型至GPU。
• 準備文本：用 AutoTokenizer 將目標文本編碼爲模型輸入格式。
• 設置參數：指定生成時長（duration）、擴散步數（steps）、引導方式（CFG或APG）及強度。
• 執行推理：調用模型生成音頻，TTS直接輸入文本，克隆需額外提供參考音頻和提示文本。
• 保存結果：使用 soundfile 將生成的波形數據寫入WAV文件完成輸出。

LongCat-AudioDiT的關鍵信息和使用要求

• 開發方：美團（Meituan）
• 技術路線：擴散模型 + 波形潛空間直接生成
• 模型規模：1B（輕量版）、3.5B（旗艦版）
• 音頻質量：24kHz 採樣率
• 核心創新：波形潛空間擴散、自適應投影引導（APG）
• 性能水平：Seed基準SOTA，中文相似度0.818
• 硬件：NVIDIA GPU（CUDA支持），建議顯存≥8GB
• 軟件：Python 3.8+、PyTorch、transformers、librosa
• 依賴安裝：執行 pip install -r requirements.txt

LongCat-AudioDiT的核心優勢

• 端到端簡化：直接在波形潛空間生成，無需梅爾頻譜等中間表示，避免誤差累積，流程更簡潔。
• SOTA語音克隆：Seed基準中文相似度達0.818，超越前SOTA模型Seed-TTS，零樣本克隆效果頂尖。
• 推理質量優化：支持自適應投影引導（APG）替代傳統CFG，修正訓練-推理不匹配，生成更穩定自然。
• 靈活雙版本：提供1B版快速輕量，3.5B版極致質量，適配不同場景需求。

LongCat-AudioDiT的項目地址

• GitHub倉庫：https://github.com/meituan-longcat/LongCat-AudioDiT
• HuggingFace模型庫：
  • https://huggingface.co/meituan-longcat/LongCat-AudioDiT-1B
  • https://huggingface.co/meituan-longcat/LongCat-AudioDiT-3.5B

LongCat-AudioDiT的同類競品對比

LongCat-AudioDiT的應用場景

• 有聲內容製作：模型能快速生成有聲書、播客、新聞播報等內容，支持多角色音色克隆以降低製作成本。
• 智能客服系統：爲企業定製品牌專屬聲音，實現自然流暢的語音交互服務並提升用戶體驗。
• 遊戲與動畫配音：通過零樣本復刻角色聲音，大幅降低遊戲與動畫多語言本地化的配音成本。
• 虛擬人直播：爲數字人提供高保真實時語音驅動能力，顯著增強虛擬直播的沉浸感與真實度。
• 輔助無障礙工具：爲視障用戶朗讀屏幕文本，或幫助失語者通過少量錄音重建個人專屬聲音。