MM1.5 – 蘋果推出的升級版多模態大模型

MM1.5是什麼

MM1.5是蘋果公司推出的多模態大型語言模型，旨在增強文本豐富圖像理解、視覺指代和定位以及多圖像推理能力。模型基於數據爲中心的訓練方法，在大規模預訓練、高分辨率OCR數據持續預訓練及優化的視覺指令微調，實現從1B到30B參數規模的高性能。MM1.5包括密集型和MoE變體，展現小規模模型通過精細數據策劃和訓練策略達到強大性能。MM1.5推出針對視頻理解和移動UI理解優化的專門變體MM1.5-Video和MM1.5-UI，基於實證研究提供訓練過程和決策的深入見解，爲多模態AI技術的未來發展提供指導。

MM1.5的主要功能

• 文本豐富的圖像理解：MM1.5能理解圖像中的文本內容以及文本與圖像內容之間的關係。
• 視覺指代和定位：模型識別圖像中的特定對象，理解文本中對對象的引用，如“那個紅色的球”。
• 多圖像推理：MM1.5能分析多張圖像，理解圖像之間的聯繫，進行邏輯推理。
• 視頻理解：基於MM1.5-Video變體，模型能理解視頻內容，包括動作、事件和時間序列。
• 移動UI理解：MM1.5-UI變體專門針對移動應用界面的理解，識別和操作界面元素。

MM1.5的技術原理

• 深度學習和自然語言處理：結合深度學習的視覺模型和自然語言處理技術，模型能理解和生成與圖像內容相關的文本。
• 座標token和視覺注意力機制：用座標token定位圖像中的對象，基於視覺注意力機制關注圖像的特定區域。
• 圖像分割和多模態融合：將圖像分割成多個部分，與文本信息融合，支持多圖像推理。
• 視頻幀採樣和時序分析：對視頻幀進行採樣，分析幀之間的時序關係，理解視頻內容。
• 界面元素識別：用圖像識別技術識別移動界面上的元素，如按鈕和圖標。

MM1.5的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2409.20566v1

MM1.5的應用場景

• 圖像和視頻理解：MM1.5能理解和分析圖像及視頻內容，應用於圖像標註、視頻內容分析、安防監控等領域。
• 視覺搜索：在電子商務或數字圖書館中，MM1.5幫助用戶基於描述或查詢圖像來搜索特定的產品或文檔。
• 輔助駕駛和自動駕駛：在汽車行業，MM1.5用在理解和分析道路情況，輔助駕駛決策。
• 智能助手：在智能手機和智能家居設備中，MM1.5提供更自然、直觀的交互方式，理解用戶的語音或文本指令。
• 教育和培訓：MM1.5作爲教育工具，幫助學生理解複雜的概念，提供個性化的學習體驗。