Hy-SimulMT – 騰訊混元開源的同聲傳譯大模型

Hy-SimulMT是什麼

Hy-SimulMT是騰訊混元開源的同聲傳譯大模型，支持中英語音到語音實時互譯，可邊聽邊譯並實時克隆說話人音色。Hy-SimulMT實測響應時延約 3 秒，優於人類譯員 4–5 秒的水平；在 RealSI 評測集上延遲最低且翻譯質量達開源最佳，超過多數商用 API，並在多領域實測中質量超過人類同傳專家。

Hy-SimulMT的主要功能

• 實時語音同傳：說話人的音頻可連續流入模型，模型邊聽邊譯，邊說邊輸出譯文，實現中英雙向語音到語音的實時互譯。
• 實時音色克隆：翻譯輸出可保留說話人本人的音色和語氣，多人對話場景下能區分並還原不同說話人的聲音。
• 文本+語音雙輸出：模型能輸出翻譯文本（Interleave 版本還可同時輸出源語文本），可通過配套 TTS 服務輸出翻譯語音。
• 低時延響應：實測同傳延遲約 3 秒，快於人類專業譯員 4.5–4.7 秒的水平。

Hy-SimulMT的技術原理

• 流式同傳解碼：增量理解與”先開口、後修補”， 同傳的核心矛盾是”等信息多一點譯得準”與”早點開口聽感好”之間的權衡。Hy-SimulMT 不等待說話人把話講完，是在連續音頻流上邊接收邊做增量理解，只積累少量語音信息就開始生成譯文；後續信息到來後若發現先前輸出不完整或有誤，會像人類譯員自我修正一樣對譯語進行修補。
• 大規模稀疏 MoE 翻譯主幹：開源模型爲 Hy-SimulMT-30B-A3B，即總參數 30B、每次激活約 3B 參數的混合專家（MoE）架構，基於混元 HYV3ForCausalLM 模型族，以 vLLM 作爲主流推理後端。稀疏激活的設計讓它在保持大模型翻譯質量的同時，推理成本接近小模型，適合實時同傳這種對速度敏感的在線場景。
• 音色克隆由獨立的 TTS 組件完成：模型本體負責流式語音識別+同傳翻譯並輸出文本（分純譯文和源文+譯文兩種輸出模式），語音合成與輸入音色克隆由可配置的 TTS 服務承擔。這種模塊化設計讓翻譯質量與音色自然度可以分別優化，方便接入第三方 TTS；代價是級聯鏈路中 ASR 識別錯誤可能向下游傳導，需要通過翻譯模型的魯棒性來消化。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用Hy-SimulMT

• 克隆倉庫：執行 git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git 並進入項目目錄。
• 一鍵部署推理服務：進入 SimulInfer/ 目錄，運行 bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave。
• 配置 TTS（可選）：如需語音輸出和音色克隆，在 config.toml 中配置 TTS 服務連接；純文本翻譯無需此步。
• 開始使用：等待終端顯示 Ready: http://127.0.0.1:8080/，在瀏覽器打開該地址，選擇翻譯方向後上傳音頻文件或開啓麥克風說話，點擊「Stop and finish」結束。
• 命令行調用：可用 curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F [email protected] 上傳文件，或用倉庫自帶的 simulinfer-client 客戶端獲取翻譯結果。

Hy-SimulMT的核心優勢

• 低時延領先：實測 StreamLAAL 約 3 秒，比人類專業譯員更快，是對比系統中延遲最低的開源同傳模型。
• 質量與速度兼得：在 RealSI 長音頻評測中做到”延遲最低 + 質量最高”，GEMBA 分數超過全部對比開源模型和 5 個商用 API 中的 4 個。
• 達到人類專家水平：在與 6 位 CATTI 一級/二級持證同傳專家的盲測對比中，翻譯質量得分更高、響應速度更快。
• 實時音色克隆：翻譯語音可高度還原說話人的音色與語氣，多人場景能區分不同說話人，溝通更自然。

Hy-SimulMT的項目地址

• GitHub倉庫：https://github.com/Tencent-Hunyuan/Hy-SimulMT
• HuggingFace模型庫：https://huggingface.co/collections/tencent/hy-simulmt

Hy-SimulMT的同類競品對比

Hy-SimulMT的應用場景

• 國際會議與論壇：大型國際活動指定其爲志願者和基層服務人員的官方 AI 翻譯應用，用於外賓接待與現場溝通。
• 跨語言商務談判與會議：企業跨國會議中實現中英實時互譯，參會各方用自己的母語發言和聆聽，降低溝通成本。
• 演講與培訓的同聲傳譯：學術講座、企業內訓、公開課等單人長時間發言場景，模型可穩定跟譯且譯語自然，適合作爲”輔助理解”工具。
• 多說話人訪談與媒體內容：採訪、播客、紀錄片等多人對話場景下，同傳同時克隆每位說話人的音色，聽者能分清誰在說話。
• 涉外文旅與日常服務：機場、酒店、展會、餐廳等涉外服務窗口的低風險溝通場景，幫助服務人員與外國遊客完成基本可用的面對面交流。