IndexTTS-2.5 – Bilibili 開源的工業級零樣本語音克隆模型

IndexTTS-2.5是什麼

IndexTTS-2.5 是 Bilibili 開源的工業級零樣本語音克隆模型，參數量僅 0.8B，支持中文、英語、日語、西班牙語和阿拉伯語五語跨語種遷移。模型重構了推理架構，推理速度提升 2.28 倍，支持 0.5x 至 2.0x 語速調節，以及發音、情感等精細化控制。完整代碼、模型權重及論文均已發佈，採用 Bilibili Model License 協議。

IndexTTS-2.5的主要功能

• 零樣本語音克隆：僅需一段 3 到 10 秒的參考音頻，即可精準復刻任意說話人的音色特徵，無需針對目標說話人進行額外訓練。
• 五語言跨語種支持：支持中文、英語、日語、西班牙語和阿拉伯語五種語言。
• 精細化情感控制：提供多種情感調節方式：通過獨立的情感參考音頻傳遞情緒、使用八維情感向量精確指定情感強度、開啓文本驅動情感自動推斷，以及通過 emo_alpha 參數調節情感濃淡。
• 音色與情感解耦：音色提示音頻和情感提示音頻可完全獨立指定。用戶能分別控制”誰在說”和”怎麼說”。
• 語速無級調節：通過 duration_factor 參數，可在 0.5 倍到 2.0 倍之間任意調節合成語速，滿足不同場景的節奏需求。
• 發音精準干預：支持中文拼音、英語 CMU 音素和日語假名三種粒度的發音控制，有效解決多音字、異讀詞和語境依賴發音問題。

IndexTTS-2.5的技術原理

• 三階段生成流水線：模型採用”文本 → 語義 Token → 梅爾譜 → 波形”的三階段架構。由基於 Transformer 的文本到語義（T2S）語言模型生成語義 Token，經非自迴歸的語義到梅爾譜（S2M）流匹配模塊生成梅爾頻譜圖，最後通過神經聲碼器還原爲最終音頻。
• 語義編解碼器壓縮：將語義 Token 的幀率從 50Hz 壓縮至 25Hz，使序列長度直接減半，顯著降低 T2S 模塊在訓練和推理時的計算量與內存佔用，是推理加速的關鍵之一。
• Zipformer 架構升級：S2M 模塊的骨幹網絡從 U-DiT 替換爲更高效的 Zipformer 架構。Zipformer 以更少的參數量實現了更強的長程依賴建模能力，使梅爾譜生成更快、更穩定，同時保持了合成音質。
• 跨語言建模策略：針對多語言場景下字符重疊導致的混淆問題，團隊提出了三種策略：邊界感知對齊（在文本前後插入語言標記如 <ZH>）、Token 級拼接（爲每個輸入 Token 融合語言專屬嵌入）、以及指令引導生成（在文本前添加自然語言指令前綴如”請用英文朗讀”）。
• GRPO 強化學習優化：在 T2S 模塊的後訓練階段引入 GRPO（Group Relative Policy Optimization），凍結 ASR 模型的詞錯誤率（WER）作爲獎勵信號，每次生成四個候選樣本，通過優化高獎勵樣本的相對似然，持續提升發音準確度與語音自然度。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用IndexTTS-2.5

• 環境準備：用戶需先安裝 Git 和 uv 包管理器，通過 git clone https://github.com/index-tts/index-tts.git 將官方代碼倉庫下載到本地。
• 依賴安裝：進入項目目錄後，執行 uv sync --all-extras 命令以自動創建虛擬環境並安裝所有必需的 Python 依賴。
• 模型下載：通過 huggingface-cli 或 modelscope 工具從官方倉庫 IndexTeam/IndexTTS-2.5 下載模型權重到本地 checkpoints 目錄。
• 啓動 Web 界面：執行 uv run webui.py 啓動 Gradio 交互界面，在瀏覽器中訪問 http://127.0.0.1:7860 進行可視化語音合成操作。
• 加載模型：在 Python 腳本中從 indextts.infer_v2_5 導入 IndexTTS2 類，並傳入配置文件路徑和模型目錄完成模型實例化。
• 基礎語音克隆：調用實例的 infer 方法，傳入參考音頻路徑、目標文本和語言代碼，可生成並保存具有克隆音色的語音文件。
• 情感控制：在 infer 方法中額外傳入 emo_audio_prompt 參數指定情感參考音頻，或使用 emo_vector 傳入八維情感向量來控制合成語音的情緒表現。
• 語速調節：在推理時設置 duration_factor 參數爲 0.5 到 2.0 之間的數值，即可按比例加快或減慢合成語音的語速。
• 發音干預：在輸入文本中插入 <行|XING2>、<minute|M IH1 . N AH0 T> 或 <上手|じょうず> 等標註，以精確控制多音字或異讀詞的發音。

IndexTTS-2.5的核心優勢

• 小參數高效率：模型參數量僅 0.8B，通過語義編解碼器壓縮和 Zipformer 架構升級，實現 2.28 倍的推理加速，BF16 精度下實時率（RTF）低至 0.20，兼顧輕量化與高性能。
• 五語言跨語種遷移：支持中文、英語、日語、西班牙語和阿拉伯語五種語言，用戶可使用任意一種語言的參考音頻去克隆另一種語言的語音，且無需目標語言的情感訓練數據即可實現情感跨語種遷移。
• 精細化多維可控：模型支持 0.5x 至 2.0x 的無級語速調節、八維情感向量控制、文本驅動情感推斷，以及拼音、CMU 音素和日語假名三種粒度的發音干預，滿足內容創作對語音合成的精細調節需求。
• 音色與情感徹底解耦：用戶能獨立指定音色提示音頻和情感提示音頻，兩者甚至可以來自不同語言，在保留目標說話人音色的同時，靈活注入所需的情感風格。
• 阿拉伯語開源支持：在主流開源 TTS 模型中，IndexTTS-2.5 是少數完整支持阿拉伯語語音克隆與跨語種遷移的模型，填補該語種在開源語音合成領域的空白。

IndexTTS-2.5的項目地址

• GitHub倉庫：https://github.com/index-tts/index-tts
• arXiv技術論文：https://arxiv.org/pdf/2601.03888

IndexTTS-2.5的同類競品對比

IndexTTS-2.5的應用場景

• AI 配音與有聲內容生成：內容創作者僅需提供一段主播或角色的參考音頻，可快速生成多語種、多情感風格的有聲書、廣播劇與播客內容，無需重複錄製。
• 跨語言視頻本地化：影視與短視頻團隊可用中文參考音頻直接生成英語、日語、西班牙語或阿拉伯語的配音，保留原演員音色，大幅降低海外發行成本。
• 遊戲與虛擬角色語音：遊戲開發商可爲 NPC 或虛擬偶像克隆特定音色，通過情感向量實時切換喜怒哀樂，實現動態劇情語音與直播互動。
• 實時語音交互與數字人：憑藉 0.20 的超低實時率，IndexTTS-2.5 可部署於智能客服、數字人直播與實時翻譯場景，支持低延遲的個性化語音回覆。
• 教育與語言學習：教育機構可用發音控制功能生成標準拼音、CMU 音素或日語假名示範音頻，可克隆教師音色製作多語種同步課程。