Youtu-LLM – 騰訊Youtu團隊開源的輕量級語言模型

Youtu-LLM是什麼

Youtu-LLM 是騰訊 Youtu 團隊開源的輕量級語言模型，參數規模爲 19.6 億。專爲智能體任務設計，具備強大的“原生智能體能力”，在多項任務中超越同規模甚至更大模型。模型採用緊湊架構和 128K 長上下文窗口，支持長程任務處理，並針對 STEM 領域優化詞表，提升推理效率。模型已全面開源，支持 Base 和 Instruct 版本，提供微調工具，方便開發者使用。

Youtu-LLM的主要功能

• 強大的智能體能力：具備原生智能體能力，能自主規劃任務、執行操作並根據反饋調整策略，適合複雜任務處理。
• 高效推理與長上下文支持：採用緊湊架構，支持 128K 上下文窗口，適合長程任務如複雜代碼修復和多跳研究。
• 優化的 STEM 詞表：針對數學、代碼等專業領域設計，提升 token 壓縮率和推理效率。
• 系統性預訓練課程：從零開始預訓練，通過常識、STEM、智能體三階段學習，逐步提升模型能力。
• 高質量智能體軌跡數據：引入大量智能體軌跡數據，涵蓋數學推理、代碼修復、深度研究等場景，提升模型的智能體任務表現。
• 開源與靈活部署：全面開源，支持 Base 和 Instruct 版本，提供微調工具，方便開發者在資源受限的場景中部署。

Youtu-LLM的技術原理

• 緊湊架構與長上下文：採用 Dense MLA 架構，支持 128K 上下文窗口，適合長程任務處理，同時保持高效的推理能力。
• 優化的分詞器設計：專爲 STEM 領域設計的 128K 詞表，提升數學和代碼等專業領域的推理效率。
• 三階段預訓練課程：從零開始預訓練，分爲常識階段、STEM 聚焦階段和智能體中訓階段，逐步提升模型的推理和規劃能力。
• 智能體軌跡合成：引入高質量的智能體軌跡數據，涵蓋數學推理、代碼修復、深度研究等場景，強化模型的智能體任務表現。
• 創新的訓練範式：通過“常識 → STEM → 智能體”的課程式訓練，讓模型內化規劃、執行、反思等能力，實現輕量但原生智能。

Youtu-LLM的項目地址

• 項目官網：https://youtu-tip.com/#llm
• Github倉庫：https://github.com/TencentCloudADP/youtu-tip/tree/master/youtu-llm

Youtu-LLM的應用場景

• 代碼助手：能理解複雜代碼庫結構，定位和修復代碼中的錯誤，編寫符合項目規範的代碼，自動化軟件工程任務。
• 研究助手：適合文獻綜述和信息整合，支持多跳問答和知識推理，能自動生成研究報告，輔助學術寫作。
• 通用智能體：可以自動化日常任務，實現多工具協同工作，分解和執行復雜任務，作爲個人 AI 助手使用。
• 邊緣部署：由於參數量較小，適合在消費級 GPU、移動端和邊緣設備上運行，提供低延遲、低成本的推理服務，適用於隱私敏感場景的本地部署。
• 多跳推理與總結：能解決需要多步推理的複雜問題，如深度關聯分析、因果推理等。
• 知識密集型任務：高效處理依賴大量結構化知識的問題，如企業知識庫問答、技術文檔深度解析。