MemGUI-Agent – 浙大聯合快手推出的長程手機GUI智能體

MemGUI-Agent是什麼

MemGUI-Agent 是浙大與快手聯合推出的長程手機GUI智能體，專爲跨App、多步驟、長鏈條的移動端自動化任務設計。傳統ReAct風格Agent在長程任務中會因歷史記錄線性膨脹導致關鍵信息被稀釋，MemGUI-Agent通過 ConAct 協議，讓模型在每一步同時決定如何操作UI和如何整理記憶，實現緊湊且結構化的上下文管理。

MemGUI-Agent的主要功能

• 長程任務執行：支持跨App、跨頁面的複雜自動化流程，平均可處理30步以上的連續操作。
• 主動上下文管理：通過ConAct協議，Agent自主決定何時壓縮歷史、何時寫入UI事實、如何描述當前步驟。
• 結構化記憶操作：支持 memory_add、memory_update、memory_delete 等記憶動作，持久保存價格、電話、規格等關鍵UI事實。
• 端到端模型訓練：提供基於Qwen3-VL-8B的LoRA微調模型MemGUI-8B-SFT，8B參數即可勝任長程任務。
• 全鏈路開源：代碼、MemGUI-3K數據集、訓練/評測pipeline及模型權重全部開放。

MemGUI-Agent的技術原理

• ConAct（Context-as-Action）核心框架：MemGUI-Agent 將上下文管理從傳統的外部規則模塊或後處理總結器，提升爲與UI點擊、滑動、輸入同級的第一類動作。在每一步推理中，模型主動決定該壓縮什麼歷史、該記住什麼UI事實、該如何描述當前步驟，使上下文更新成爲可執行、可訓練的策略輸出。
• 三個結構化狀態字段：Agent 將上下文拆分爲三個互補字段協同工作。Folded Action History 負責把已完成的子任務段落壓縮爲可複用的摘要，避免歷史線性膨脹；Folded UI State 專門持久保存跨屏幕的關鍵事實，確保信息在幾十步後仍可精準檢索；Recent Step Record 記錄最近一步的屏幕觀察、動作意圖、執行動作和結果，爲後續的歷史摺疊和記憶寫入提供可靠的局部原料。
• 五段結構化輸出與記憶操作：每一步中，模型輸出 thinking、folding、tool_call、ui_observation 和 action_intent 五個結構化段落。其中 tool_call 可以是常規UI操作，也可以是 memory_add、memory_update、memory_delete 等顯式記憶操作。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用MemGUI-Agent

• 克隆開源代碼：從 GitHub 倉庫 github.com/kwai/MemGUI-Agent 拉取完整代碼與訓練評測pipeline。
• 下載數據集：獲取 HuggingFace 上的 MemGUI-3K 數據集。
• 加載模型權重：從 HuggingFace 下載 MemGUI-8B-SFT。
• 配置Android環境：連接設備或啓動模擬器，部署Agent執行環境。
• 輸入任務指令：以自然語言描述長程目標，Agent即自動規劃並執行。

MemGUI-Agent的核心優勢

• 上下文成本顯著降低：在150步長程區域，ConAct比ReAct平均節省約1500個輸入token，抑制線性增長。
• 關鍵信息精準留存：通過UI State持久保存完整事實，避免長程任務中的信息稀釋與幻覺。
• 小模型大能力：8B模型經MemGUI-3K訓練後，在長程基準上超越多數32B甚至235B基線，實現高效部署。
• 分佈外泛化優異：MemGUI-8B-SFT在MobileWorld上取得17.9%成功率，較基線提升8.5個百分點，展現強跨場景遷移能力。
• 全鏈路可復現：從數據構造、模型訓練到評測協議完全開源，降低研究門檻。

MemGUI-Agent的項目地址

• 項目官網：https://memgui-agent.github.io/
• HuggingFace模型庫：https://huggingface.co/collections/lgy0404/memgui-agent
• arXiv技術論文：https://arxiv.org/pdf/2606.19926

MemGUI-Agent的同類競品對比

MemGUI-Agent的應用場景

• 跨App信息整合：自動從電商、地圖、社交App收集信息並彙總到筆記軟件。
• 長表單填寫：根據多源信息（郵件、通訊錄、日曆）自動完成複雜註冊或報銷流程。
• 聯繫人管理與更新：從社交媒體帖子提取新電話/郵箱，自動更新通訊錄併發送短信。
• 商品比價與記錄：瀏覽多個電商平台，記錄價格、規格參數並生成對比文檔。
• 自動化測試與RPA：在移動端執行長鏈條UI迴歸測試或企業級流程自動化。