Qwen-CUA – 阿里 Qwen 等推出的原生 Computer Use Agent

Qwen-CUA是什麼

Qwen-CUA 是 Qwen 團隊與 XLang Lab 聯合推出的原生 Computer Use Agent，基於 397B-A17B 混合專家架構，僅通過截圖感知界面狀態，無需依賴 DOM 樹或輔助功能元數據，直接用鍵盤和鼠標事件操控瀏覽器、桌面應用及專業軟件。在 OSWorld-Verified 基準上取得 86.2 分，更大版本 Qwen-CUA-Max 參數量超萬億，達到 87.6 分。

Qwen-CUA的主要功能

• 純視覺感知：僅通過截圖理解界面狀態，不依賴 HTML 結構或無障礙元數據，跨平台通用性更強。
• 原生輸入模擬：直接輸出鍵盤和鼠標事件，可在瀏覽器、桌面應用、專業軟件中執行操作。
• MoE 架構底座：基於 397B-A17B 混合專家模型，平衡性能與推理成本；Max 版本超萬億參數，性能再提升。
• 開放技術報告：GitHub 已發佈技術報告與參考 Demo，便於研究者復現與二次開發。

Qwen-CUA的技術原理

• 底座架構：基於 Qwen3.5-397B-A17B 混合專家架構，總參數 397B、每次前向僅激活 17B，在保持強大表達能力的同時控制推理成本。
• 混合注意力機制：採用 GatedDeltaNet 線性注意力與 Gated Full Attention 按 75:25 交替排列，將長序列計算複雜度從 O(n²) 降至接近線性，256K 上下文吞吐量較傳統架構提升 19 倍。
• 專家路由：每層配置 512 個細粒度路由專家，通過 Top-10 選擇 + 權重重歸一化激活，並配合 1 個共享專家與 sigmoid 門控自適應調節通用知識貢獻，避免信息損失。
• 純視覺感知：僅通過屏幕截圖感知界面狀態，完全不依賴 HTML DOM 樹、無障礙元數據或操作系統 API，實現對任意 GUI 應用的跨平台通用感知。
• 視覺編碼與定位：繼承 Qwen-VL 系列的 ViT 架構支持動態分辨率輸入，配合 MRoPE 多模態旋轉位置編碼同時編碼時間、高度、寬度三維信息，精準定位界面元素座標。

如何使用Qwen-CUA

• 訪問倉庫：訪問 GitHub 搜索 xlang-ai/Qwen-CUA 進入項目主頁。
• 閱讀技術報告：下載並閱讀項目內的技術報告，瞭解模型架構與訓練細節。
• 運行參考 Demo：根據 README 配置環境，運行官方提供的參考 Demo 體驗截圖驅動的自動化操作。
• 接入自有環境：將模型接入本地或雲端的桌面/瀏覽器環境，通過截圖輸入與鍵盤鼠標輸出閉環執行任務。

Qwen-CUA的核心優勢

• 高基準得分：OSWorld-Verified 達 86.2 分，Max 版本 87.6 分，處於開源 CUA 領域領先水平。
• 真正的原生 CUA：區別於依賴 API 或多 Agent 拼接的方案，Qwen-CUA 是端到端訓練的視覺-動作模型，穩定性更高。
• 跨平台兼容：不受操作系統或應用類型限制，任何有圖形界面的軟件均可操控。
• 開源生態：Apache 2.0 協議，技術報告與 Demo 已公開，社區可自由擴展。

Qwen-CUA的項目地址

• GitHub倉庫：https://github.com/xlang-ai/Qwen-CUA
• 技術論文：https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

Qwen-CUA的同類競品對比

Qwen-CUA的應用場景

• 自動化軟件測試：通過截圖識別界面元素並執行點擊、輸入、滾動等操作，無需編寫特定腳本即可完成跨平台 UI 迴歸測試。
• RPA 流程自動化：替代人工完成數據錄入、報表生成、ERP 操作等重複性桌面辦公任務，無需改造企業原有 IT 系統。
• 無障礙輔助工具：爲視障用戶或老年人自動識別軟件界面元素並代爲執行精確操作，降低專業軟件使用門檻。
• 科研與專業軟件操控：自動操控 MATLAB、SPSS 等無 API 接口的專業軟件，批量執行實驗數據處理與圖表生成等長週期任務。
• 雲端 Agent 託管服務：部署於雲桌面環境 7×24 小時執行網站巡檢、數據抓取、定時報表下載等後台任務。