Emotion-LLaMA – 多模態情緒識別與推理模型，融合音頻、視覺和文本輸入

Emotion-LLaMA是什麼

Emotion-LLaMA是多模態情緒識別與推理模型，融合了音頻、視覺和文本輸入，通過特定情緒編碼器整合信息。模型基於修改版LLaMA，經指令調整以提升情感識別能力。研究者構建了MERR數據集助力訓練與評估，使模型能從多場景學習並應用於現實。Emotion-LLaMA在多個數據集和挑戰賽中表現優異，如在MER2024挑戰賽MER-NOISE賽道中以84.52%的WAF超越其他團隊。其架構設計巧妙，充分發揮LLaMA優勢，納入關鍵情感線索。

Emotion-LLaMA的主要功能

• 多模態情緒識別：能通過情緒特定的編碼器無縫集成音頻、視覺和文本輸入，更準確地識別複雜的情緒表達。可以處理包含人物面部表情、身體語言和上下文線索的圖像或視頻，預測最可能的情緒類別，顯示預測情緒標籤及相應的置信度分數。
• 情緒推理：在提供多模態輸入（如視頻片段伴隨音頻和文本）時，Emotion-LLaMA可以生成自然語言解釋，分析數據中的面部表情、聲音線索和語言內容，生成連貫且類似人類的解釋，突出顯示對預測情緒有貢獻的具體線索和模式，爲需要透明和可解釋情緒理解的應用提供價值。
• 數據集構建與訓練支持：構建了MERR數據集，包含28618個粗粒度和4487個細粒度註釋樣本，覆蓋多種情緒類別，使模型能夠從不同場景中學習並推廣到現實世界的應用，爲大規模多模態情緒模型訓練和評估提供了寶貴資源。
• 性能表現優異：在多個數據集和挑戰賽中表現出色，如在EMER數據集上線索重疊和標籤重疊得分最高，在MER2023-SEMI挑戰賽中F1分數爲0.9036，在MER2024-NOISE挑戰賽中F1分數爲0.8452，還在DFEW數據集的零樣本評估中超越了ChatGPT-4V。

Emotion-LLaMA的技術原理

• 多模態輸入融合：通過特定於情緒的編碼器，Emotion-LLaMA能夠無縫集成音頻、視覺和文本輸入。基於HuBERT模型作爲音頻編碼器，以及多視圖視覺編碼器（如MAE、VideoMAE、EVA）來捕捉面部細節、動態和上下文，更全面地理解情緒表達。
• 特徵對齊與指令調整：模型將來自不同模態的特徵對齊到共享空間，採用經過指令調整的修改版LLaMA模型。有助於模型更好地理解和處理情緒相關的任務，增強情感識別和推理能力。
• 數據集構建：爲了支持模型訓練和評估，研究者構建了MERR數據集，包含28618個粗粒度和4487個細粒度註釋樣本，覆蓋多種情緒類別。數據集使模型能從不同場景中學習並推廣到現實世界的應用。
• 基於Transformer架構：Emotion-LLaMA的核心架構基於Transformer，利用自迴歸生成機制、多頭自注意力機制、前饋神經網絡（FFN）、殘差連接和位置編碼等技術實現高效的自然語言生成和情緒推理。

Emotion-LLaMA的項目地址

• Github倉庫：https://github.com/ZebangCheng/Emotion-LLaMA
• arXiv技術論文：https://arxiv.org/pdf/2406.11161
• 在線體驗Demo：https://huggingface.co/spaces/ZebangCheng/Emotion-LLaMA

Emotion-LLaMA的應用場景

• 人機交互：在智能助手、聊天機器人等場景中，通過實時分析用戶的情緒狀態，生成基於用戶情感的回覆，提供更加個性化的交互體驗，使機器能更好地理解和回應人類用戶的情感需求。
• 教育領域：教師可以用Emotion-LLaMA瞭解學生的情感狀態，提供更有針對性的教學支持。
• 心理健康支持：在心理健康諮詢和干預中，模型可以幫助識別用戶的情感狀態，爲心理諮詢師提供更準確的情緒分析，提供及時的心理干預和支持，輔助治療過程。
• 客戶服務：企業可以將Emotion-LLaMA應用於客服系統，通過分析客戶的情緒狀態，爲客戶提供更個性化和貼心的服務。
• 社交媒體分析：通過對社交媒體上的評論、帖子等進行情感分析，可以瞭解用戶的情緒趨勢，爲企業提供有價值的市場洞察。