最好用的AI工具
首頁 / 搜尋結果

搜尋:Kimi K3

3 個結果

Beam – Reflection AI 開源的首款大語言模型

Beam是什麼 Beam 是 Reflection AI 推出的首款開源大語言模型,採用 501B 參數的稀疏 MoE 架構,每 token 僅激活 23B,支持 100 萬 token 上下文,預訓練消耗 23.8T token。Beam 的訓練過程堪稱重工業級別的算力展示,預訓練用 6,144 張 GB300 不到四周跑完,用 10,500 張 GB300 進行爲期四周、超 1 億次 rollout 的大規模強化學習。 Beam的主要功能 編程開發:在軟件工程任務上達到 GLM-5.2 同級水平,是面向企業編碼負載的主力模型。 Agent 執行:具備工具調用、終端操作、網頁搜索等能力,可自主完成多步任務,甚至學會調用其他大模型和 OCR API。 長文本處理:支持 100 萬 token 上下文,能從超長代碼庫和文檔中定位並關聯關鍵信息。 可調推理強度:用戶通過 reasoning effort 參數在短回覆與長推理之間靈活切換,匹配不同任務和算力預算。 Beam的技術原理 稀疏 MoE 架構:模型總參數 501B,但每次只激活 23B,通過細粒度路由專家配合輔助損失無關的負載均衡實現近均勻的專家利用率,最忙專家負載僅 1.04×,是 Beam 推理高效的硬件級基礎。 兩階段大規模訓練:預訓練在 6,144 張 GB300 上用不到四周消化 23.8T token,配合拓撲感知調度器和靜默數據損壞檢測,goodput 達 92.3%;之後用 10.5K 張 GB300 做四周強化學習,產生超 1 億次 rollout,期間平均維持 11 萬併發 rollout 和 17 萬併發沙盒。 全異步 RL 系統:採用異步 policy gradients,支持 rollout 與訓練並行,通過給每個 token 標記生成它的模型版本處理策略陳舊問題,即使樣本落後當前策略一天(107 個版本)數值依然穩定;新權重經 RoCE 分層分發到推理集羣僅需中位數 12 秒。 長度可控的推理學習:在 RL 中加入長度懲罰項,讓模型先學會用更少 token 解題、再在 agentic 能力增強後自然擴展推理長度,形成能力-token 消耗的最優權衡,由用戶按需調節。 微信關注回覆“開源”,加入AI開源項目交流羣 如何使用Beam 當前階段權重未放出,僅向部分用戶提供預覽版,訪問 https://platform.reflection.ai/ 可申請早期體驗。 Beam的核心優勢 推理效率極高:用 3–4 倍低於 GLM-5.2 的推理算力達到同級推理水平,比 Qwen 3.8-Max 等 2T+ 模型節省更多,智能密度突出。 激活參數極小:501B 總參中每 token 僅激活 23B,稀疏 MoE 設計大幅壓低部署和推理成本。 RL 規模業界罕見:10.5K 張 GB300 連續四周、超 1 億次 rollout,是開放實驗室中迄今最大規模的 RL 訓練之一。 訓練穩定性強:預訓練全程僅 9 次半自動回滾、goodput 達 92.3%,訓練曲線無失穩,工程成熟度極高。 推理長度可控:用戶可通過 reasoning effort 參數自由調節推理深度,在性能與成本間按需權衡。 Beam的項目地址 項目官網:https://reflection.ai/blog/introducing-beam Beam的同類競品對比 維度 Beam(Reflection AI) GLM-5.2(Z.ai / 智譜) 總參數 / 激活參數 501B / 23B 744B / 40B 激活佔比 約 4.6%(更稀疏) 約 5.4% 上下文窗口 1M tokens 1M tokens 預訓練數據量 23.8T tokens 28.5T tokens 架構特點 細粒度 MoE + 輔助損失無關負載均衡,52 層殘差流全程穩定 MoE + MLA + 稀疏注意力(DSA/IndexShare),78 層(前 3 層稠密) 後訓練 10.5K 張 GB300 跑 4 周 RL,超 1 億次 rollout,異步 policy gradients slime 異步 RL 基礎設施,長程 agentic 訓練 能力定位 對標 GLM-5.2,官方承認落後 Kimi K3,優勢在推理效率 開源模型推理/編程最強檔,GPQA Diamond 89%,SWE-bench Pro 62.1% 推理效率 達到同級推理水平僅用 GLM-5.2 約 1/3–1/4 算力 基準參照物,40B 激活已屬高效 許可協議 Apache 2.0 MIT 開源權重(已可下載) 當前可用性 wait

Kimi K3 深度評測 – 前端開發能力登頂全球第一

昨晚,月之暗面悄悄上線了新...

Kimi K3 – 月之暗面推出的 2.8 萬億參數開源大模型

Kimi K3是什麼 Kimi K3 是月...