AutoDroid-V2 – 清華推出的移動端GUI自動化腳本代理

AutoDroid-V2是什麼

AutoDroid-V2是清華大學人工智能產業研究院推出的基於小型語言模型（SLM）的移動端GUI自動化腳本代理，能基於代碼生成技術提升設備上的GUI代理性能。AutoDroid-V2分析應用的探索歷史，自動生成精細的應用文檔，指導SLM生成多步腳本完成複雜的用戶任務。與傳統的逐步GUI代理相比，AutoDroid-V2顯著提高了任務完成率和執行效率，減少對大型雲模型的依賴，降低用戶隱私風險和集中服務成本。AutoDroid-V2在多個基準測試中表現出色，展示了在設備上全面部署GUI代理的潛力。

AutoDroid-V2的主要功能

• 自動化UI任務執行：基於生成和執行多步腳本，自動完成用戶在移動設備上的各種UI任務，如打開應用、輸入文本、點擊按鈕等。
• 代碼生成與執行：將UI任務自動化問題轉化爲代碼生成問題，用設備上的小型語言模型（SLM）生成可執行的代碼腳本，並用代碼解釋器高效執行腳本。
• 應用文檔生成：自動分析應用的探索歷史，生成精細的應用文檔，記錄應用的GUI狀態、重要元素及其交互關係，爲腳本生成提供指導。

AutoDroid-V2的技術原理

• arXiv技術論文：https://arxiv.org/pdf/2412.18116

AutoDroid-V2的應用場景

• 日常生活輔助：用戶在忙碌時，根據消息內容自動回覆，如自動回覆工作郵件、朋友問候等，避免錯過重要信息。
• 日常工作：在會議過程中自動記錄會議內容，提取關鍵信息，生成會議紀要，方便會後回顧和執行相關任務，提高會議效率。
• 應用測試：在應用更新後自動執行迴歸測試用例，檢查新版本應用的功能是否正常，及時發現並修復潛在的bug，確保應用的穩定性和可靠性。
• 智能家居：根據用戶的作息習慣和當前環境光線，自動調節家中的燈光亮度和色溫，如在晚上自動調暗燈光，營造舒適的睡眠環境，提高生活品質。
• 特殊行業應用：在患者出院後，自動發送隨訪提醒和健康問卷，收集患者的康復情況，幫助醫生及時瞭解患者的病情變化，提供更好的後續治療和康復指導。