LOKI – 中山大學聯合上海AI Lab推出的合成數據檢測基準

LOKI是什麼

LOKI是由中山大學和上海AI Lab聯合提出的合成數據檢測基準，旨在全面評估大型多模態模型（LMMs）在識別視頻、圖像、3D、文本和音頻等多種模態合成數據的能力。包含18,000多個問題，覆蓋26個子類別，採用多層次標註，支持細粒度異常註釋。LOKI考驗模型的感知和推理能力，通過自然語言解釋增強了模型的可解釋性。通過評估22個開源和6個閉源的LMMs，LOKI揭示了這些模型在合成數據檢測任務中的潛力和侷限性。

LOKI的主要功能

• 多模態數據檢測：評估LMMs在識別合成的視頻、圖像、3D模型、文本和音頻數據方面的能力。
• 細粒度異常註釋：提供詳細的異常註釋，支持對合成數據的深入分析和理解。
• 多層次標註：包括基本的“合成或真實”標籤，適用於基礎問題設置，更復雜的異常細節選擇和解釋任務。
• 全面評估框架：支持多種數據格式輸入，如視頻、圖像、文本、音頻和點雲，統一了超過25種主流LMMs的API。
• 性能比較：支持對不同的LMMs進行比較，包括開源和閉源模型，專家合成檢測模型。
• 可解釋性測試：通過要求模型提供自然語言解釋，測試LMMs在合成數據檢測任務中的可解釋性。
• 數據多樣性：收集了多種類型的合成數據，包括專業領域的數據，如衛星圖像和醫學圖像，環境音和音樂等音頻數據。
• 問題難度分級：根據人類評估指標對問題進行難度分級，測試LMMs在不同難度水平上的表現。
• 模型偏差分析：通過計算模型的偏差指數，分析模型在合成數據檢測任務中的偏差和傾向性。

• 促進AI發展：推動更強大、更可解釋的合成數據檢測方法的發展，應對AI合成技術帶來的挑戰。

LOKI的技術原理

• 數據收集與合成：LOKI收集了多種模態的數據，包括視頻、圖像、3D模型、文本和音頻，這些數據部分來自公開數據集，部分通過最新的合成模型生成。
• 多模態評估框架：LOKI提出了一個全面的多模態評估框架，支持多種數據格式的輸入，統一了多種主流的LMMs的API，在統一的標準下評估不同模型的性能。
• 模型評估與比較：LOKI基準測試包括對多個開源和閉源的LMMs進行評估。通過比較這些模型在合成數據檢測任務上的表現，可以分析它們的性能和侷限性。
• 自然語言解釋：LOKI要求模型提供自然語言解釋，增強模型的可解釋性。測試模型的檢測能力，評估模型解釋其判斷的理由。

LOKI的項目地址

• 項目官網：opendatalab.github.io/LOKI
• Github倉庫：https://github.com/opendatalab/LOKI
• arXiv技術論文：https://arxiv.org/pdf/2410.09732

LOKI的應用場景

• 人工智能安全性評估：LOKI可以用來評估和提高AI系統在處理合成數據時的安全性和魯棒性，確保AI系統在面對潛在的合成數據攻擊時能準確識別並做出正確響應。
• 內容審覈：在社交媒體、新聞網站和其他內容平台，LOKI可以幫助檢測和過濾掉由AI生成的假新聞、深度僞造（deepfakes）視頻或音頻，保護用戶免受誤導。
• 數據集驗證：在機器學習模型訓練過程中，LOKI可以用於驗證數據集的質量和真實性，確保訓練數據中不包含過多的合成數據，提高模型的泛化能力。
• 法律和合規性：在法律領域，LOKI可以幫助識別和處理與合成數據相關的版權、隱私和合規性問題，例如，檢測和防止未經授權的內容生成和分發。
• 媒體和娛樂：在電影、遊戲和虛擬現實製作中，LOKI可以用於評估和改進合成媒體內容的質量，確保生成的內容既真實又符合創作者的意圖。