AndroidLab是什麼
AndroidLab是用在訓練和系統評估Android自主代理的框架，集成文本和圖像模態操作環境，統一行動空間和可重現基準測試。AndroidLab支持大型語言模型和多模態模型，包含138個任務，覆蓋九個應用。基於AndroidLab，開發Android指令數據集，提升開源模型的成功率。框架縮小開源與閉源模型性能差距，推動開源解決方案發展，並在GitHub開源。
AndroidLab的主要功能
- 多模態操作環境：提供標準化的多模態操作環境，支持大型語言模型（LLMs）和多模態模型（LMMs）在相同的操作空間內進行交互。
- 基準測試：設計一個包含138項任務的基準測試，覆蓋九個常見應用，任務類型包括操作任務和查詢任務，涉及真實世界的複雜交互場景。
- 評估指標：引入任務完成率（SR）、子目標成功率（Sub-SR）、反向冗餘率（RRR）和合理操作比率（ROR）等評估指標，精準評估代理的任務表現。
- 數據集構建：創建Android Instruct數據集，結合自動化探索與人工標註，生成高質量的操作數據，提升開源模型在任務完成率和操作效率上的表現。
- 模型訓練與優化：支持對開源和閉源模型進行訓練和優化，基於指令調優顯著縮小開源與閉源模型之間的性能差距。
AndroidLab技術原理
- 操作模式：
- XML模式：爲文本輸入的LLMs設計，基於壓縮XML信息傳遞界面狀態，模型直接選擇元素執行操作。
- SoM模式：針對LMMs的設計，用Set-of-Mark方法，將屏幕截圖與標記信息結合，模型選擇帶有編號的標記元素進行操作。
- 推理與操作框架：
- ReAct框架：基於逐步推理和操作輸出，模型輸出操作的同時展示中間推理過程。
- SeeAct框架：推理與操作分離，分兩輪交互進行，第一輪模型生成詳細的推理步驟，第二輪執行具體操作。
- 任務設計與重現性：每個任務設計多個子目標，用XML樹結構匹配來驗證每個子目標的完成情況，確保結果準確性和操作的高效性。
- 評估系統：基於任務完成的評估系統，直接從設備和屏幕狀態判斷，提供全面和精確的代理性能評估。
- 數據集與模型訓練：基於自動化探索和人工標註構建數據集，訓練和微調模型，提升模型在多模態與文本輸入任務中的表現。
AndroidLab的項目地址
- GitHub倉庫：https://github.com/THUDM/Android-Lab
- arXiv技術論文：https://arxiv.org/pdf/2410.24024
AndroidLab的應用場景
- 自動化測試：用在移動應用的自動化測試，模擬用戶操作檢測應用的功能和性能。
- 智能助理開發：開發理解和執行復雜用戶指令的智能助理，如語音助手和聊天機器人。
- 人機交互研究：研究和改進人機交互方式，特別是在移動設備上，如何讓機器更好地理解和響應人類指令。
- 人工智能研究：提供一個實驗平台，研究和開發大型語言模型（LLMs）和多模態模型（LMMs）在實際應用中的表現。
- 教育和培訓：作爲教育工具，幫助學生和研究人員理解Android操作系統的工作原理和應用開發。
© 版權聲明
文章版权归作者所有，未经允许请勿转载。
相關文章
暫無評論...
