MEXMA – Meta推出的預訓練跨語言句子編碼器

MEXMA是什麼

MEXMA是由Meta AI推出的一種新型的預訓練跨語言句子編碼器。基於結合句子級和詞語級的目標提升句子表示的質量。在訓練過程中，MEXMA用一種語言的句子表示預測另一種語言中被遮蔽的詞語，支持直接更新編碼器中的句子表示和所有詞語。MEXMA在多個任務上展現優越的性能，超越現有的預訓練跨語言句子編碼器，如LaBSE和SONAR。MEXMA支持80種語言，在句子分類等下游任務中表現出色。

MEXMA的主要功能

• 跨語言句子編碼：MEXMA將不同語言的句子編碼成固定大小的向量，向量在一個共享的多語言空間中進行比較和操作。
• 句子和詞語級目標結合：基於同時考慮句子的整體含義和句子中各個詞語的貢獻，MEXMA提高句子表示的質量和對齊。
• 多任務性能提升：MEXMA在多種下游任務中表現出色，包括句子分類、文本挖掘和語義文本相似度任務。
• 80種語言支持：MEXMA支持多達80種語言，適用廣泛的多語言應用場景。

MEXMA的技術原理

• 結合句子級和詞語級目標：MEXMA用句子級目標訓練模型，引入詞語級目標。在訓練過程中，模型學習句子的整體表示，和學習句子中每個詞語的表示。
• 交叉語言遮蔽任務：MEXMA用一種語言的句子表示預測另一種語言中被遮蔽（masking）的詞語。交叉語言的遮蔽任務迫讓模型學習能捕捉句子核心信息的句子表示，確保信息在不同語言之間是可對齊的。
• 直接更新編碼器：在MEXMA中，句子表示能更新編碼器，每個詞語的表示直接更新編碼器。雙向更新機制讓模型更有效地學習到高質量的句子和詞語表示。
• 對稱架構：MEXMA基於對稱架構，同時對兩種語言的句子進行遮蔽和預測，確保模型在兩種語言之間是平衡的，能生成兩個乾淨的句子向量，對於語言之間的對齊至關重要。
• 非對比性損失函數：爲避免模型崩潰（collapse）並提高表示的質量和對齊，MEXMA用非對比性損失函數，如均方誤差（MSE）損失，加強不同語言中語義等價句子的空間接近性。

MEXMA的項目地址

• GitHub倉庫：https://github.com/facebookresearch/mexma
• HuggingFace模型庫：https://huggingface.co/facebook/MEXMA
• arXiv技術論文：https://arxiv.org/pdf/2409.12737

MEXMA的應用場景

• 跨語言信息檢索：用MEXMA將不同語言的文檔轉換成相同的嵌入空間，進行跨語言的搜索和檢索。
• 機器翻譯：MEXMA改善機器翻譯系統，基於提供更準確的跨語言句子表示增強翻譯質量。
• 多語言文本分類：在處理多語言文本數據時，MEXMA能分類文本內容，如情感分析、主題分類等。
• 語義文本相似度評估：MEXMA評估不同語言句子之間的相似度，適用比較和匹配相似的文本內容。
• 跨語言問答系統：在多語言的問答系統中，MEXMA幫助理解不同語言的問題，在相應的語言中找到答案。