DeepInfer – DeepSeek 開源的生產級推理框架

DeepInfer是什麼

DeepInfer 是 DeepSeek 開源的生產級推理框架，源自 vLLM，支持 V4.1 Flash，可運行於英偉達 SM100 與華爲昇騰 950。DeepInfer 採用 PD 分離部署，靠 3FS 緩存集羣實現 96% 輸入命中、Prefill 提效 25 倍，SWA Bounded Replay 令 Prefill 計算量減半，DSpark 投機解碼再提吞吐 6%，線上單集羣日處理 155 萬億 Token。同步開源的 deepseek-recipe是生產級 Token 編解碼組件，負責統一 Chat Completions、Responses、Messages 三種 API 格式，處理注入防護、並行分詞與流式輸出，使自部署模型的接口表現與官方 API 完全一致。

DeepInfer的主要功能

• 分佈式推理：支持注意力數據並行、上下文並行及 MoE 專家並行，支撐單集羣日處理 155 萬億 Token 的大規模生產服務。
• 跨硬件平台兼容：同時支持英偉達 SM100 GPU 與華爲昇騰 950 NPU，覆蓋兩大算力生態。
• 長上下文高效處理：通過 SWA Bounded Replay 將緩存未命中的重算成本壓縮到固定 128 個 Token，與上下文長度和層數解耦。
• 推測解碼加速：集成自研 DSpark 與置信度驗證調度，讓模型一次推進多個 Token，顯著提升生成吞吐。
• 負載均衡調度：動態均衡專家與請求的分佈，線上最繁忙的卡僅高出平均負載 9%。
• 緩存複用：依託 3FS 存儲集羣實現 96% 的輸入緩存命中率，Prefill 吞吐提升約 25 倍。

DeepInfer的技術原理

• PD 分離部署：推理分爲 Prefill 與 Decode 兩個階段：Prefill 一次性處理數萬 Token 的輸入，是計算密集型；Decode 逐 Token 生成，受限於顯存帶寬讀取。DeepInfer 將兩者部署在不同硬件上，Prefill 用常規 8 卡服務器，Decode 用 64–128 卡超節點，兩類機器數量按約 1:1 配置，使各自按最優硬件特性運行。
• 前綴緩存體系：Agent 場景下每次工具調用都會重發完整歷史，其中大部分內容已計算過。系統只緩存從首 Token 起完全一致的前綴，命中部分直接複用 KV Cache，僅計算新增部分。緩存存放於獨立的 3FS 分佈式存儲集羣，用 128 Token 爲塊寫入，Agent 流量保留 3 天、聊天流量保留 7 天。
• SWA Bounded Replay：V4.1 Flash 的部分層採用滑動窗口注意力，每個 Token 只關注最近 128 個 Token，這部分 KV Cache 不寫入硬盤、僅駐留在計算機器的內存中。未命中時舊方案需按”層數 × 窗口長度”精確重算，V4.1 改爲只重算最後 128 個 Token、且注意力僅在這 128 個內計算，得到近似窗口緩存，重算成本固定。
• DSpark 推測解碼與異步調度：由輕量草稿模塊先連續猜測 5 個 Token，再由目標模型批量驗證，猜對的直接採用、首個猜錯處由大模型糾正，一步計算即可推進多個 Token。置信度頭預估各猜測被接受的概率，低可能性的不再驗證、把算力讓給其他請求，相比固定驗證 5 個的方案線上吞吐提升 6%。同時 CPU 調度第 N+1 步與 GPU 計算第 N 步重疊執行，消除 GPU 在調度間隙的空轉。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用DeepInfer

• 確認環境前置條件：Linux 系統，GCC ≥ 13.0、Python 3.12，NVIDIA 平台需 CUDA 13，昇騰平台需 CANN 9.2。
• 克隆倉庫：git clone https://github.com/deepseek-ai/DeepInfer 並進入目錄。
• 創建乾淨環境：新建並激活一個空的 Python 3.12 虛擬環境，避免依賴衝突。
• 選擇硬件平台並編譯：運行 export DEEPINFER_ACCELERATOR=nvidia（昇騰用 ascend）後執行 ./build.sh 從源碼構建，注意該環境變量需在後續運行環境中保持生效。
• 準備模型權重：默認首次運行會自動從 Hugging Face 下載 deepseek-ai/DeepSeek-V4.1-Flash-1017，或用 export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 指向本地副本。
• 運行離線推理示例：執行 python examples/offline_inference.py 啓動推理，更多用法參考倉庫 examples 目錄。

DeepInfer的核心優勢

• 經過生產驗證的超高性能：已在 V4.1 Flash 大規模線上服務中實際運行，單集羣日處理 155 萬億 Token，首字延遲僅 400ms，生成速度 230 tokens/s。
• 極高的緩存複用效率：96% 的輸入命中前綴緩存，Prefill 每卡吞吐從不計緩存的 6 萬提升至 150 萬 tokens/s，相差 25 倍。
• 長上下文成本大幅降低：SWA Bounded Replay 將緩存未命中的重算量固定爲最後 128 個 Token，使 Prefill 總計算量近乎減半，且成本與上下文長度無關。
• 生成效率行業領先：DSpark 推測解碼疊加置信度調度與異步調度，一步可推進多個 Token，線上吞吐相比固定驗證方案再提升 6%，每卡每秒生成 14K Token。
• 卓越的負載均衡能力：MoE 專家副本每 10000 步動態重排，線上最忙的卡僅高出平均負載 9%，整體達到理想均衡狀態的 80%。
• 雙硬件平台兼容：同時支持英偉達 SM100 GPU 與華爲昇騰 950 NPU，是目前極少數覆蓋兩大算力生態的生產級推理框架。

DeepInfer的項目地址

• GitHub倉庫：
  • https://github.com/deepseek-ai/DeepInfer
  • https://github.com/deepseek-ai/deepseek-recipe

DeepInfer的同類競品對比

DeepInfer的應用場景

• 企業私有化部署：企業在本地數據中心部署 V4.1 Flash，藉助 deepseek-recipe 對齊官方 API 行爲，實現數據不出域的合規推理。
• 國產化算力適配：原生支持華爲昇騰 950 NPU，滿足政企、金融等信創場景擺脫英偉達依賴的需求。
• 大規模 Agent 服務：96% 前綴緩存命中率大幅降低多輪工具調用的重複計算，適合高併發 Agent 平台低成本運營。
• 長上下文文檔處理：SWA Bounded Replay 將長文本 Prefill 計算量近乎減半，適合合同分析、代碼庫理解等超長輸入場景。
• 高性價比自建推理服務：每卡高吞吐 + 230–300 tokens/s 生成速度，適合創業公司替代按量付費 API，規模化自建省錢。