xGen-MM – Salesforce推出的開源多模態AI模型

xGen-MM是什麼

xGen-MM是Salesforce推出的一款開源多模態AI模型，具有處理交錯數據的能力，能同時理解和生成文本、圖像等多種數據類型。xGen-MM通過學習大量的圖片和文字信息，不僅在視覺語言任務上展現出強大的性能，還通過開源模型、數據集和微調代碼庫，促進模型能力的不斷提升。

xGen-MM的主要功能

• 多模態理解：xGen-MM能同時處理和理解圖像和文本信息，支持回答關於視覺內容的問題。
• 大規模數據學習：通過大量多樣化的數據訓練，xGen-MM能捕捉到豐富的視覺和語言模式。
• 高性能生成：xGen-MM不僅能理解輸入信息，還能生成文本，比如根據一張圖片編寫描述或回答。
• 開源可訪問：xGen-MM的模型、數據集和代碼是開源的，研究人員和開發者可以自由地訪問和使用這些資源來構建自己的應用。
• 微調能力：用戶可以根據自己的特定需求對xGen-MM進行微調，適應不同的應用場景。

xGen-MM的項目地址

• GitHub倉庫：https://github.com/salesforce/LAVIS/tree/xgen-mm
• Hugging Face模型庫：https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-interleave-r-v1.5
• arXiv技術論文：https://arxiv.org/pdf/2408.08872

xGen-MM的技術原理

• 多模態學習：xGen-MM通過訓練能夠同時理解圖像和文本數據，實現視覺和語言信息的融合。
• 大規模數據集：模型在大規模、多樣化的數據集上進行訓練，數據集包含豐富的圖像和相應的描述。
• 視覺令牌採樣器：xGen-MM使用高效的視覺令牌採樣器（如Perceiver架構）來處理圖像數據，支持模型以可擴展的方式處理不同分辨率的圖像。
• 預訓練語言模型：結合了預訓練的大型語言模型（如Phi-3模型），模型已經在大量文本數據上訓練，具有強大的語言理解能力。
• 統一的訓練目標：簡化訓練過程，通過單一的自迴歸損失函數來訓練模型，專注在多模態上下文中預測文本令牌。
• 指令微調：模型可以通過指令微調來更好地理解和執行用戶的查詢，在特定任務上對預訓練模型進行額外的訓練。
• 後訓練優化：包括直接偏好優化（DPO）和安全性微調，提高模型的有用性、減少幻覺效應和提高安全性。
• 開源和可定製性：xGen-MM的代碼、模型和數據集都是開源的，允許社區成員根據自己的需求進行定製和進一步開發。

xGen-MM的應用場景

• 圖像描述生成：自動爲圖片生成描述性文字，適用於社交媒體、相冊管理等。
• 視覺問答：回答有關圖像內容的問題，比如在教育或電子商務領域提供產品信息。
• 文檔理解：解析和理解文檔中的圖像與文字，適用於自動化文檔處理和信息檢索。
• 內容創作：輔助用戶在創作過程中，如自動生成故事板、設計概念圖等。
• 信息檢索：通過圖像和文本的結合，提高搜索結果的相關性和準確性。