WorkForge是什麼
WorkForge是騰訊混元與復旦大學聯合推出的智能體訓練環境構建框架。WorkForge從專家工作流藍圖出發,自動檢索真實世界資源搭建工作區,基於工作區事實生成任務與雙重驗證標準,讓智能體執行產出軌跡數據。WorkForge已建成16.7K個可驗證環境,橫跨40個專業領域,可將35B模型的GDPval得分提升28分,逼近前沿模型水平。

WorkForge的主要功能
-
場景藍圖構建:將專家經驗沉澱爲可複用的工作流模板,定義交付物、所需資源與關鍵決策點。
-
真實工作區合成:由獲取智能體從網絡搜索下載真實代碼倉庫、數據集與網頁資料,按原始目錄結構搭建工作區。
-
環境畫像與事實錨點提取:自動摸清每個文件的角色、依賴關係,並記錄可直接覈對的”事實支撐”。
-
任務生成:結合藍圖與畫像,產出紮根於工作區實際內容的任務指令和隱藏參考解法。
-
雙重驗證機制:程序化檢查覈對數值與文件生成,LLM 評委按評分細則評估語義質量。
-
軌跡採集與評分:智能體在僅可見工作區和任務說明的條件下自主執行,全過程連同分數保存爲訓練數據。
-
規模化環境產出:一鍵生成 16.7K 個可驗證工作環境,覆蓋 40 個專業領域和 60 種文件類型。
-
智能體後訓練:用產出的長程軌跡微調模型,顯著提升其職場任務執行能力。
WorkForge的技術原理
- 事實錨點驅動的任務-驗證共生設計:WorkForge 的核心 premise 是任務能否提出、結果能否驗證,都取決於工作區中可觀察的事實。它先對工作區做全面畫像(Profiling),提取文件角色、跨文件依賴和具體可覈對的事實記錄,任務指令、參考解法、程序化檢查項和語義評分細則全部從這些事實錨點推導,參考解法中的關鍵事實還會回工作區複覈。
- 2. 真實資源驅動的環境複雜度構建:與 LLM 合成工作區不同,WorkForge 用獲取智能體迭代執行搜索—閱讀—下載—預覽循環,從真實倉庫和數據集中採集資源並保留其原始目錄結構。對照實驗顯示,真實工作區文件數是合成環境的 5.4 倍、文件類型 2.4 倍,證據分散在整個目錄樹而非集中在少數文件,迫使智能體先探索、再判斷,產生真實的操作摩擦和長程交互需求。
- 程序化和語義雙軌驗證:驗證模塊由互補的兩部分組成:程序化驗證器檢查確定性要求,如數值是否正確、目標文件是否生成、工作區狀態是否符合預期,按指示函數計分;語義驗證器由任務指令配置 LLM 評委,對開放式交付物按評分細則逐項打分並歸一化。雙軌分數分開保留,實驗表明兩者結合的混合篩選(ALE 22.11)顯著優於單用任一信號(15.62 / 14.89),因爲兩類驗證捕捉了交付質量的不同維度。
如何使用WorkForge
WorkForge 目前是研究框架,論文未提及開源代碼或數據集的公開渠道。
WorkForge的核心優勢
- 真實性更強:直接從真實世界資源構建工作區,文件數、類型數和體積分別是 LLM 合成環境的 5.4 倍、2.4 倍和 13 倍,證據分散在目錄樹中而非集中暴露。
- 驗證可溯源:任務、參考解法和評分標準全部從工作區”事實錨點”推導,關鍵事實回工作區複覈,杜絕幻覺式評測要求。
- 雙重驗證互補:程序化檢查(數值/文件)與 LLM 語義評分相結合,混合篩選效果遠超單用任一信號。
- 長程交互訓練:平均 31.8 步、7.6 萬 tokens 的真實探索軌跡,讓模型學到探索、取證、糾錯、交付的完整工作過程。
- 規模化能力:一條管線產出 16.7K 個環境、橫跨 40 個領域,相比手工構建環境大幅降低工程成本。
- 性能提升顯著:A3B 模型 GDPval 提升 28.1 分,全面領先所有 <100B 專用智能體模型;27B 模型反超 15 倍參數量的 397B 模型。
WorkForge的項目地址
- arXiv技術論文:https://arxiv.org/pdf/2610.04906
WorkForge的同類競品對比
| 對比維度 | WorkForge(騰訊混元×復旦) | ClawGym(人大高瓴等) |
|---|---|---|
| 核心思路 | 從真實世界資源(倉庫/數據集/網頁)檢索構建工作區,先畫像後出題 | 可擴展框架構建 Claw Agent 訓練環境,側重環境自動合成 |
| 工作區真實性 | 真實資源,平均 42.3 個文件 / 279 KB,證據分散在多級目錄 | 合成環境爲主,工作區相對簡單、線索集中(論文中被歸爲”toy workspace”一類) |
| 驗證機制 | 事實錨點驅動 + 程序化與語義雙軌驗證,標準可追溯至工作區證據 | 環境合成與訓練框架,驗證可追溯性未作爲核心設計 |
| 數據規模 | 16.7K 環境、40 個專業領域、60 種文件類型 | 面向 Claw Agent 的可擴展框架,領域覆蓋以通用助理/終端場景爲主 |
| 軌跡特徵 | 平均 31.8 步 / 7.6 萬 tokens,典型長程交互 | 軌跡長度和交互深度相對較低 |
| 訓練效果 | A3B:GDPval 73.6、APEX 21.3、ALE Pass\@1 12.4% | ClawGym-30A3:GDPval 35.0、APEX 2.5、ALE Pass\@1 2.9% |
| 實測差距 | **GDPval 領先 38.6 分**,五個基準全面領先 | 基準對比中處於劣勢 |
WorkForge的應用場景
-
智能體訓練數據生產:爲企業/研究機構規模化生成高質量長程軌跡數據,用於後訓練自己的工作智能體,擺脫手工造環境的成本瓶頸。
-
職場數字員工培養:針對辦公、數據分析、金融、教育等 40 個專業領域,訓練能交付報告、表格、PPT 等真實交付物的”數字員工”。
-
智能體能力評測:其事實錨點驅動的雙軌驗證機制可作爲評測範式,用於檢驗智能體在雜亂文件環境中的探索、取證與交付能力。
-
領域工作流數字化:企業將內部專家經驗寫成場景藍圖後,可快速批量生成同類任務的不同實例,用於培訓或考覈。
-
垂類 Agent 研發底座:金融量化、代碼審查、合規覈查等需要交叉覈對多源文件的專業場景,可作爲環境基礎設施,支撐上層 Agent 產品的能力迭代。
© 版權聲明
文章版权归作者所有,未经允许请勿转载。
相關文章
暫無評論...