Qwen-UI-Agent – 阿里通義推出的 GUI 智能體基座模型

Qwen-UI-Agent是什麼

Qwen-UI-Agent 是阿里巴巴通義團隊推出的 GUI 智能體基座模型，能在手機、電腦和網頁端像真人一樣操作界面。模型基於 100+ 台真機、150+ 應用訓練，支持 GUI 與命令行混合執行，可完成跨應用長程任務。內置安全機制，危險請求直接拒絕，支付、刪除等敏感操作主動交還用戶確認。在 MobileWorld、WebArena 等基準上全面超越 GPT-5.6、Claude Opus 等旗艦模型，是當前真實世界可用性最強的 GUI Agent 之一。

Qwen-UI-Agent的主要功能

• 跨設備 GUI 操作：在手機、電腦、瀏覽器上自動點擊、輸入、滑動，完成界面交互。
• 真機多應用工作流：跨 150+ 真實 App 執行復雜長鏈任務，如查地圖→找餐廳→訂座→發日程。
• GUI + CLI 混合執行：既能點界面，也能跑命令行，支持一次輸出多個批量動作提速。
• 安全邊界管控：違法請求直接拒，支付、刪文件、隱私授權等敏感操作主動彈窗交還用戶確認。
• 長程任務處理：穩定執行 100+ 步的調研、數據分析、報告生成等超長任務。
• 精準界面定位：在 ScreenSpot-Pro 等 grounding 基準上刷新 SOTA，精準識別屏幕元素位置。

Qwen-UI-Agent的技術原理

• 真機訓練環境：搭建 100+ 台真實手機、150+ 應用的真機集羣，直接採集真實軌跡並用於訓練與評測，彌合模擬環境與真實設備之間的性能鴻溝。
• 混合動作空間：模型同時掌握 GUI 操作（點擊、滑動、輸入）與 CLI 命令，引入 Batched Actions 機制，支持單次決策並行輸出多個動作，使電腦任務中 CLI 佔比近半，整體執行步數顯著縮短。
• 長程在線強化學習：支持在超過 100 步的超長軌跡上進行端到端在線 RL 訓練，依託約 10,000 個併發環境並行 rollout，配合自適應課程學習，持續攻克高難度長程任務。
• 安全對齊機制：將安全判斷內嵌於任務執行全鏈路，通過前置分類識別違法或高風險請求並直接終止；對支付、數據刪除、隱私授權等敏感場景，在關鍵節點觸發 ask_user 接管，確保危險請求不執行、敏感操作不擅自決定。
• 多模態 Grounding 與通用能力保持：在 GUI 專用訓練的同時保留基座模型的通用推理與 agentic 能力，使其既能精準定位屏幕元素（刷新多項 grounding SOTA），能應對真實世界中的長尾知識與工具調用需求。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用Qwen-UI-Agent

• 閱讀技術報告：訪問 arXiv 論文瞭解模型架構、訓練方法與 8 項基準的詳細評測結果。
• 瀏覽項目主頁：打開 tongyi-mai.github.io/Qwen-UI-Agent 觀看 5 個真實場景的真機演示與交互案例。
• 跟蹤開源倉庫：關注 GitHub Tongyi-MAI/MAI-UI 獲取後續可能發佈的模型權重、代碼與部署文檔更新。
• 運行基準評測：使用配套倉庫 Tongyi-MAI/MobileWorld 的 Docker 環境，對模型進行可復現的移動端 GUI 能力測試。

Qwen-UI-Agent的核心優勢

• 真機閉環：基於 100+ 台真實手機、150+ 應用訓練與評測，自建 MobileWorld-Real 真機基準，直接彌合”模擬到真實”的鴻溝。
• 全面 SOTA：在 MobileWorld、OSWorld、WebArena、ScreenSpot-Pro 等 8 項核心基準上全面超越或持平 GPT-5.6、Claude Opus 4.8、Gemini 3.1 Pro 等旗艦模型。
• 混合執行提速：統一 GUI 點擊與 CLI 命令，支持單次決策批量輸出多個動作，電腦任務中約 40% 爲批量動作，整體節省近 58% 執行步數。
• 長程在線強化學習：支持 100+ 步超長軌跡的端到端在線 RL，依託約 10,000 併發環境並行 rollout，持續攻克復雜長程任務。
• 內置安全邊界：違法/危險請求直接拒絕終止；支付、刪數據、隱私授權等敏感操作在關鍵節點主動停手，彈窗交還用戶確認後再繼續。

Qwen-UI-Agent的項目地址

• 項目官網：https://tongyi-mai.github.io/Qwen-UI-Agent/
• GitHub倉庫：https://github.com/Tongyi-MAI/MAI-UI
• 技術論文：https://tongyi-mai.github.io/Qwen-UI-Agent/Qwen-UI-Agent-Technical-Report.pdf

Qwen-UI-Agent的同類競品對比

Qwen-UI-Agent的應用場景

• 本地生活探店：自動跨高德、大衆點評、小紅書完成地址搜索、人氣比對和口碑總結，一站式搞定約會探店。
• 行程會議聯動：查 12306 高鐵班次、算地鐵通勤時間，自動在釘釘創建帶提醒的會議日程。
• 深度調研報告：跨網站採集財報數據、運行分析腳本，自動生成 Excel、PPT 和 Word 交付物。
• 跨設備發票整理：從手機相冊提取發票照片，傳到電腦分類歸檔，並生成結構化 Excel 報銷單。
• 航班取消主動應急：檢測到航班取消通知後，自動搜索替代航班和高鐵方案，推薦能趕上會議的最優選項並交還用戶決策。