Index-Translate – B站開源的多語言翻譯模型家族

AI工具2天前發佈新公告 AI管理員
0 0

Index-Translate是什麼

Index-Translate是B站Index LLM團隊開源的多語言翻譯模型家族,基於Qwen3.5構建,採用Apache-2.0協議。文本模型覆蓋150種語言,提供2B/9B/35B-A3B三種規模,支持術語、格式、保留內容等翻譯指令。Index-Translate家族還包括,Index-Echo語音翻譯、Index-Homura音節可控翻譯、Index-NativeLong長文檔翻譯。

Index-Translate – B站開源的多語言翻譯模型家族

Index-Translate的主要功能

  • Index-Translate 文本翻譯:覆蓋 150 種語言的文本與結構化內容翻譯,能同時執行術語統一、格式保留、指定字段翻譯等指令要求。
  • Index-Echo 語音翻譯:支持語音轉語音(S2ST 配音)和語音轉文字(S2TT 字幕),生成配音時參考源音頻的說話人音色特徵。
  • Index-Homura 音節可控翻譯:接受目標音節數作爲輸入,自動調整譯文措辭和長度,爲視頻配音提供時長相配的文本。
  • Index-NativeLong 長文檔翻譯:一次輸入全文並連續生成譯文,利用長上下文維持人物名、術語和概念層級的前後一致。

Index-Translate的技術原理

  • 基座與統一架構:整個家族構建在 Qwen3.5 之上,通過多語言語料與翻譯指令數據微調,使文本模型在單一架構內同時習得翻譯能力和約束遵循能力;推理採用 vLLM 部署,文本模型默認貪心解碼,保證輸出穩定可復現。
  • Index-Echo 語音翻譯:採用級聯式”識別→翻譯→合成”管線,S2ST 在翻譯後接 CosyVoice 語音合成,並提取源音頻的說話人嵌入注入合成模塊實現音色克隆;音頻按 60 秒窗口分段處理,保留前 5 個窗口的歷史上下文以保持語篇連貫。
  • Index-Homura 音節控制:將目標音節數作爲顯式條件注入提示,配合採樣解碼,讓模型在翻譯時同步進行措辭選擇與長度規劃,重組句子結構以命中音節預算;在 SandGlass 上 81.92% 的輸出音節偏差不超過 10%。
  • Index-NativeLong 長文檔翻譯:採用原生全文輸入方式,一次讀完整個文檔再連續生成譯文,藉助超長上下文窗口在生成過程中”記住”前文的人物名與術語用法,無需外部詞表即可保持一致性;區別於傳統分塊翻譯依賴相鄰上下文和自動詞表的做法。
  • 評測方法:除 FLORES、WMT26 等通用基準外,團隊自建 instTrans、MEME、SandGlass、長文檔多檔長度評測四類任務集,將翻譯質量與指令遵循分開打分,更貼近真實使用場景。

Index-Translate – B站開源的多語言翻譯模型家族

微信關注回覆“開源”,加入AI開源項目交流羣

如何使用Index-Translate

方式一:本地部署文本模型(以 2B 爲例)
  • 克隆倉庫:git clone https://github.com/bilibili/Index-Translate.git 並進入項目目錄。
  • 安裝依賴:執行 pip install -U vllm 和 pip install -r inference/llm/requirements.txt,準備帶 Qwen3.5 支持的 vLLM 環境。
  • 啓動服務:運行 vllm serve IndexTeam/Index-Translate-2B --host 127.0.0.1 --port 8000 --max-model-len 4096,在本地 8000 端口拉起模型服務。
  • 執行翻譯:新開終端運行 python inference/llm/translate.py "你好,世界" --target en --model IndexTeam/Index-Translate-2B 即可得到譯文。
  • 自定義接入:客戶端默認請求 http://127.0.0.1:8000/v1,可通過 --base-url/--api-key 或環境變量 OPENAI_BASE_URL/OPENAI_API_KEY 對接自己的服務。
方式二:使用專項翻譯能力
  • 音節可控翻譯:調用 inference/llm/syllable_translate.py,用 --syllables 傳入目標音節數。
  • 長文檔翻譯:調用 doc_translate.py,用 --direction 指定 zh-en / zh-ja 等固定模板方向。
  • 語音翻譯:按倉庫的 S2TT 字幕指南或 S2ST 配音指南,使用 s2tt.py 或 dub.py 處理音頻與視頻。
方式三:免部署體驗
  • 在線 Demo:直接訪問 https://index-translate.bilibili.com/ 體驗文本、語音、音節、長文檔四類翻譯。
  • 瀏覽器插件:本地部署模型後,可通過 Chrome/Edge/Firefox 插件翻譯網頁。

Index-Translate的核心優勢

  • 語言覆蓋廣:文本模型支持 150 種語言互譯,小語種表現突出,35B-A3B 在 FLORES_minor_pair 上 off-target 率僅 2.4%。
  • 指令遵循強:翻譯時同步執行術語統一、格式保留、字段指定等要求,9B 在 instTrans_minor 指令遵循得分 0.7725,爲所有對比模型最高。
  • 懂社區熱梗:MEME 評測針對諧音、簡稱、調侃等社區表達優化,能把”結芬””狒癮”這類梗翻準翻通。
  • 語音翻譯保音色:Index-Echo 生成目標語言配音時參考源音頻說話人特徵,實現帶原聲風格的跨語言配音。
  • 音節可控適配配音:Index-Homura 接受目標音節數並按預算重組句子,81.92% 的輸出音節偏差不超過 10%,直接服務視頻配音場景。
  • 長文檔前後一致:Index-NativeLong 原生全文翻譯,無需外部詞表即可在長文中保持人物名與術語一致,並正確區分概念層級。

Index-Translate的項目地址

  • GitHub倉庫:https://github.com/bilibili/Index-Translate
  • HuggingFace模型庫:https://huggingface.co/collections/IndexTeam/index-translate
  • 技術論文:https://github.com/bilibili/Index-Translate/blob/main/docs/Index_Translate_Series_Technical_Report.pdf

Index-Translate的同類競品對比

對比維度 Index-Translate(B站) Doubao-Seed-Translation(字節)
產品性質 開源模型家族,權重可下載本地部署 閉源商業 API,僅通過火山引擎調用
語言覆蓋 150 種語言 28 種主流語言(中/英/日/韓/德/法/西/俄等)
官方質量宣稱 FLORES 0.8794、instTrans IFscore 0.8336 中英翻譯逼近 DeepSeek-R1,多語言效果超越或持平 GPT-4o / Gemini-2.5-Pro
上下文長度 2B 支持 262K、9B 支持 229K tokens 4K 上下文、3K 輸出長度
長文檔翻譯 Index-NativeLong 支持 64K 級全文一致翻譯 基本不可用(4K 窗口裝不下長文)
指令遵循 支持術語/格式/保留內容等 10 類約束 無專項約束遵循能力,通用提示工程實現

Index-Translate的應用場景

  • 視頻本地化配音:用 Index-Echo 將視頻翻譯爲目標語言配音,保留原說話人音色,配合 Index-Homura 的音節控制讓台詞匹配鏡頭時長,適用於影視劇、課程、Vlog 出海。
  • 多語言字幕生成:通過 S2TT 語音轉文字能力爲演講、直播、短視頻自動生成中/日/英/西等多語字幕,服務跨語言內容分發。
  • 社區內容出海:翻譯彈幕、動態、帖子時保留熱梗原意(如”狒癮”→”FFXIV itch”)、話題標籤和表情結構,讓遊戲、二次元文化內容在海外市場不失語境。
  • 長文檔與網文翻譯:用 Index-NativeLong 整本翻譯小說、 glacier史 等長文,無需人工維護詞表即可保持人物名、術語和概念層級前後一致,適合網文、出版出海。
  • 電商與產品資料本地化:按指令只翻譯商品 CSV 的指定列、保留表頭與編號,或將公告 JSON 結構化翻譯,讓譯文可直接接入後續業務系統,降低本地化流程成本。
© 版權聲明

相關文章

暫無評論

暫無評論...