LongCat-2.0-Preview – 美團推出的萬億參數級大模型預覽版

LongCat-2.0-Preview是什麼

LongCat-2.0-Preview 是美團推出的萬億參數級大模型預覽版，採用 MoE 架構，總參數達 1.6T、激活參數約 48B，支持 1M 超長上下文。模型基於 5–6 萬張國產加速卡完成全流程訓練與推理，英偉達算力佔比爲 0，系業內首次在國產芯片上跑通萬億級大模型訓推閉環，目前模型已開放內測，每日提供 1000 萬免費 Token 額度。

LongCat-2.0-Preview的主要功能

• 超長上下文理解：支持 1M token 長文本輸入，可處理整本書籍、大型代碼庫、長篇報告等海量內容。
• 代碼生成與推理：基於 MoE 架構精準調度專家網絡，在編程、數學推理與複雜指令跟隨任務中表現穩定。
• 多輪對話與語義檢索：通過稀疏注意力機制，在長對話歷史中快速定位關鍵信息，減少重複計算。
• 多模態內容理解：結合美團在本地生活場景的積累，支持對複雜業務文檔、圖文混合內容的深度解析。

LongCat-2.0-Preview的技術原理

• MoE（混合專家）架構：總參數 1.6T 中僅激活 48B 參與單次前向計算，通過門控路由動態選擇最相關的專家模塊，降低推理成本。
• N-gram Embedding：將部分原本位於專家層的參數前移至 Embedding 層，引入詞組級建模能力，使高頻語言模式可直接匹配命中，減少逐層計算開銷。
• 稀疏注意力與跨層流感知索引：引入輕量稀疏注意力機制，疊加跨層語義路徑索引，避免全量 O(n²) Attention 計算，保障 1M 上下文下的推理延遲可控。
• 確定性算子自研：針對國產芯片生態，自研 FlashAttention 反向梯度（FAG）、Scatter 類算子及 GEMM 模塊，將性能損失控制在 5% 左右，確保萬卡集羣長期訓練的可復現性。
• 顯存與通信優化：通過 V-ZB 算法將訓練峯值顯存壓縮至 60GB 以下，重構專家並行（EP）、張量並行（TP）與流水線並行（PP）策略，適配國產芯片帶寬與顯存約束。

如何使用LongCat-2.0-Preview

• 申請內測資格：訪問LongCat開放平台，官網點擊內測申請入口，填寫基本信息並提交審覈。
• 等待審覈通過：團隊將在申請提交後進行資格審覈，通過後以郵件或短信形式通知用戶開通權限。
• 登錄平台獲取額度：用審覈通過的賬號登錄 LongCat 平台，系統自動發放每日 1000 萬 Token 的免費調用額度。
• 選擇接入方式：用戶可通過 Web 聊天界面直接體驗，或根據文檔指引獲取 API Key，將模型接入自有應用與工作流程。
• 開始長文本任務：在對話框或 API 請求中輸入長文檔、代碼庫或複雜指令，模型將基於 1M 上下文窗口與 MoE 專家網絡完成推理並返回結果。