最好用的AI工具
首頁 / 搜尋結果

搜尋:M2.5

1 個結果

LFM2.5-24B-A2B – Liquid AI 開源的端側推理模型

LFM2.5-24B-A2B是什麼 LFM2.5-24B-A2B 是 Liquid AI 推出的開源權重推理模型,屬 LFM2.5 系列旗艦。總參數 24B、每 token 僅激活 2.45B,40 層 MoE 架構,支持 131K 上下文與 16 種語言。LFM2.5-24B-A2B回答前必先生成思維鏈,專爲端側 Agent 優化,LiveClaw 得分 48.09 反超參數量大 50% 的 Qwen3.6-35B-A3B,在 M5 Max 上解碼達 184 tok/s,比同類 MoE 最快 1.7 倍。適合本地私有化部署的推理與工具調用場景,知識密集任務建議搭配檢索使用。 LFM2.5-24B-A2B的主要功能 端側 Agent 推理:專爲在個人設備上本地運行的快速、私密智能體而設計。 純推理模式:回答前自動生成顯式思維鏈,用低激活成本換取答案質量。 函數調用:原生支持四步工具調用流程,可直接接入 OpenClaw、Hermes Agent、Pi、OpenCode 等框架。 多格式部署:提供原生、FP8、GGUF、ONNX、MLX-4bit 等版本,覆蓋 GPU、CPU、Apple Silicon 及邊緣設備。 長上下文處理:支持 131,072 tokens 上下文,可處理長文檔與多輪智能體軌跡。 多語言能力:覆蓋英、中、日、韓、阿拉伯等 16 種語言,128K 詞表優化非拉丁語系分詞。 快速推理:Apple M5 Max 上 184 tok/s,比同類 MoE 最高快 1.7 倍,單卡 B300 超 21K tok/s。 LFM2.5-24B-A2B的技術原理 MoE 稀疏激活架構:模型共 24B 參數,但每個 MoE 塊包含 64 個專家,推理時僅通過 top-4 路由激活其中 4 個,使每 token 實際計算量僅 2.45B 參數。這是”大容量、低算耗”的核心,模型存儲全部知識,但每次前向只動用一小部分,從而實現遠小於同總參數量模型的推理成本。 混合層設計:卷積 + GQA 40 層網絡由 30 個”雙門控短卷積塊”與 10 層 GQA混合構成。短卷積負責高效提取局部序列特徵,注意力層負責長程依賴建模,兩者交替使模型在保持線性層高效計算的同時仍具備長上下文能力,這也是 LFM 架構在邊緣設備上速度快、內存省的結構基礎。 詞表原地擴展與長上下文訓練:在保留上一代 LFM2-24B-A2B 主體架構的前提下,通過原地 tokenizer 擴展將詞表從 65K 翻倍至 128K,顯著改善中文、日文等非拉丁語言的 token 效率;上下文窗口從 32K 擴展至 131K,配合 300B tokens 的長上下文專項中期訓練,使模型獲得穩定的長序列處理能力。 三階段訓練流程:預訓練消耗約 33T tokens;中期訓練先在 32K 上下文用 2T tokens 高質量數據強化推理、數學、代碼與指令遵循能力,在 131K 上下文用 300B tokens 專攻長文本,且兩個階段均注入工具調用與多輪交互數據;後訓練採用 SFT→教師專業化→非 Agent 與 Agent 兩輪多域同策略蒸餾→在 OpenClaw、Hermes 等真實智能體框架內做強化學習的五階段流水線,使模型真正學會在真實工具環境中”思考-調用-驗證”。 微信關注回覆“開源”,加入AI開源項目交流羣 如何使用LFM2.5-24B-A2B 獲取模型:從 Hugging Face 下載 LiquidAI/LFM2.5-24B-A2B,按硬件選擇原生 BF16、FP8、GGUF、ONNX 或 MLX-4bit 版本。 安裝環境:確保 Python 環境裝有 transformers>=5.0.0,或部署 vLLM、SGLang、llama.cpp、LM Studio 等推理框架。 加載模型:用 AutoModelForCausalLM.from_pretrained() 以 bfloat16 精度加載模型。 構造提示:用 tokenizer.apply_chat_template() 自動套用 ChatML 格式模板格式化對話。 參數設置:生成時採用官方推薦參數 temperature=0.1、top_k=50、repetition_penalty=1.05,思維鏈任務可將 max_new_tokens 設爲 4096 以上。 配置工具調用:將工具列表以 JSON 形式寫入 system prompt,模型會用 <|tool_call_start|> 標記輸出函數調用,執行後以 tool 角色返回結果。 接入 Agent 框架:通過 OpenAI 兼容接口在本地啓動服務,再接入 OpenClaw、H