Hy-MT2-1.8B – 騰訊混元推出的端側翻譯大模型

Hy-MT2-1.8B是什麼

Hy-MT2-1.8B 是騰訊混元推出的端側翻譯大模型，僅 1.8B 參數卻支持 33 個語種互譯，翻譯質量在 FLORES-200 等基準上超越微軟、豆包等商業 API。模型通過 2-bit（574MB）與 1.25-bit（440MB）極致量化，可在手機、PC 端本地流暢運行，已落地嗶哩嗶哩直播彈幕實時翻譯，實現低成本、高隱私的端側高質量翻譯。

Hy-MT2-1.8B的主要功能

• 33 語種互譯：覆蓋中英日韓等主流語言及少數民族語言，支持任意方向互譯。
• 端側本地運行：通過極低比特量化將模型壓縮至 440~574MB，普通手機與 PC 均可常駐後台。
• 實時翻譯：單條彈幕 500~800ms 響應，已接入嗶哩嗶哩直播彈幕等高頻場景。
• 隱私保護：翻譯全程在設備本地完成，無需上傳雲端，數據不出端。

Hy-MT2-1.8B的技術原理

• 2-bit 極致量化：採用拉伸彈性量化（SEQ）將參數量化至 {-1.5, -0.5, 0.5, 1.5} 四個離散值，結合量化感知蒸餾（QAD）在壓縮至 574MB 的同時保持幾乎無損的翻譯質量。
• 1.25-bit 稀疏量化（Sherry）：混元自研的 ACL 2026 Oral 方案，核心爲”細粒度稀疏”策略——每 4 個參數中保留 3 個 ±1、1 個置 0，平均每個參數僅需 1.25-bit；配合專爲 CPU 設計的 STQ 內核，模型體積降至 440MB，可常駐後台運行。
• x86 算子適配優化：英特爾團隊針對低比特格式優化向量化、權重重排與 VNNI 指令融合，使 Q2_0C 與 STQ 在主流酷睿處理器上的 token 吞吐分別提升約 2.7 倍和 5 倍，將極低 bit 方案從移動端擴展到 PC 與邊緣設備。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用Hy-MT2-1.8B

• 下載模型權重：訪問 Hugging Face 倉庫 huggingface.co/collections/AngelSlim/hy-low-bit-model，下載 2-bit 或 1.25-bit 量化後的模型文件。
• 獲取推理框架：從 GitHub 克隆 github.com/tencent/AngelSlim 完整代碼，該倉庫包含極低比特量化的推理內核與加載邏輯。
• 加載與推理：用 AngelSlim 框架加載下載的權重，在本地 CPU 上執行翻譯推理；x86 設備可調用英特爾優化後的 VNNI 指令集內核以獲得最佳性能。

Hy-MT2-1.8B的核心優勢

• 體積極小質量極高：1.8B 參數經 2-bit / 1.25-bit 量化後僅 440~574MB，翻譯質量卻超越微軟、豆包等商業 API。
• 端側隱私優先：翻譯全程在設備本地完成，無需聯網上傳，徹底杜絕數據泄露風險。
• 跨平台無縫運行：同時適配 ARM 移動端與 x86 PC 端，經英特爾算子優化後在酷睿處理器上吞吐提升 2.7~5 倍。
• 真實場景已落地：已接入嗶哩嗶哩直播彈幕實時翻譯，單條 500~800ms 響應，能準確處理網絡流行語。
• 多語種全覆蓋：原生支持 33 個語種互譯，涵蓋主流語言及少數民族語言，滿足全球化溝通需求。

Hy-MT2-1.8B的項目地址

• GitHub倉庫：https://github.com/Tencent-Hunyuan/Hy-MT2
• HuggingFace模型庫：https://huggingface.co/collections/AngelSlim/hy-low-bit-model

Hy-MT2-1.8B的同類競品對比

Hy-MT2-1.8B的應用場景