QwenGyre – 阿里千問推出的在線強化學習框架

0 0 0

QwenGyre是什麼

QwenGyre 是阿里千問推出的超長程智能體在線強化學習框架，面向單次約 70 萬 token、持續數小時的任務。QwenGyre用彈性調度在任務不中斷時把空閒 GPU 在採樣與訓練間切換，用軌跡處理保留真實上下文、評估部分成果、去重共享前綴以控制成本。在 Qwen3.8-2.4T 上 48 步把 NL2RepoBench 通過率從 52.48% 提至 58.54%，較 Async 端到端加速 1.78×。

QwenGyre的主要功能

超長程智能體在線強化學習：在單次執行長達數小時、累計約百萬 token 的任務上直接做 RL 訓練。
彈性 GPU 調度：任務不中斷的情況下，動態把空閒 GPU 在採樣與訓練間切換。
請求重路由與 KV cache 遷移：切換 GPU 角色時智能體繼續運行，工作區和工具狀態保留，通過 RDMA 遷移 KV cache 減少重複計算。
流式訓練與新節點中途加入：核心 cell 保存權威參數，衛星 cell 可隨時拉取快照加入正在進行的批次，按進度領取微批次。
軌跡樹與真實上下文保留：用 Token-in Token-out 記錄每次調用的精確輸入輸出，按共享前綴組織成軌跡樹，輸出始終對應生成時的上下文。
部分評分（Partial Scoring）：超時未完成的任務若產出可檢驗成果，仍按任務規則評分並用於訓練。
軌跡預算與損失均衡：每個執行最多保留 Jmax 條軌跡，共享前綴只計一次損失，避免分支多的任務權重過大。

QwenGyre的技術原理

彈性調度（Elastic Scheduler）：將 GPU 劃分爲若干同構計算單元，每個 cell 能用 SGLang 提供採樣服務，也能用 Megatron 承載完整訓練副本。調度器跟蹤”水位”，未完成任務量，只要剩餘採樣容量足以支撐在跑任務且訓練數據供應充足，就按序把 cell 逐個切入訓練；切換時由代理把模型請求重定向到新推理引擎並重試未完成請求，後端進程和通信組無需重建。核心 cell 持有權威權重與優化器狀態，衛星 cell 通過 RDMA 拉取參數快照後加入當前批次的梯度累計，最後由核心統一彙總更新，實現訓練隨數據就緒逐步擴容、採樣與訓練高度重疊。
軌跡處理（Trajectory Processor）：QwenGyre 通過代理記錄每次模型調用的精確輸入/輸出 token ID 和行爲策略對數概率，把共享前綴複用、分叉處建分支，組織成軌跡樹，保證每條輸出始終對應其生成時的原始上下文。訓練准入階段按角色優先級爲每個執行選取不超過 Jmax 條軌跡，僅策略模型生成的 token 參與損失、共享目標只計一次；損失先在執行內對選中 token 取平均、再對執行取平均，使執行權重與其分支數量解耦。配合 Partial Scoring 對超時任務的已完成部分評估打分，最大化利用超長程執行中稀疏而昂貴的有效信號。

如何使用QwenGyre

目前 QwenGyre 用論文形式發佈，阿里尚未公開代碼與安裝包。

QwenGyre的核心優勢

首次實現旗艦模型超長程在線 RL：在 Qwen3.8-2.4T 上完成單次約 70 萬 token 任務的在線強化學習，48 步將 NL2RepoBench 通過率從 52.48% 提升至 58.54%。
訓練效率大幅提升：相同 GPU 預算下端到端加速最高達 1.78×（對 Async）、1.85×（對 Colocate），48 步訓練耗時從 134.55 小時縮短至 75.42 小時。
任務零中斷的彈性調度：GPU 在採樣與訓練間動態切換時，智能體執行、工作區和工具狀態完全保留，切換耗時僅數秒，相對數小時的執行可忽略。
GPU 利用率最大化：細粒度 cell 級資源分配消除了 Colocate 模式的長尾等待空轉和 Async 模式的固定分區僵化，訓練可被採樣完全隱藏。
真實上下文保真訓練：TITO 機制保證每條輸出都對應其生成時的原始上下文，避免歷史壓縮、子智能體上下文拼接導致的”虛假上下文”訓練信號。