LOKI – 中山大學聯合上海AI Lab推出的合成數據檢測基準

AI工具1個月前發佈新公告 AI管理員
1 0

LOKI是什麼

LOKI是由中山大學和上海AI Lab聯合提出的合成數據檢測基準,旨在全面評估大型多模態模型(LMMs)在識別視頻、圖像、3D、文本和音頻等多種模態合成數據的能力。包含18,000多個問題,覆蓋26個子類別,採用多層次標註,支持細粒度異常註釋。LOKI考驗模型的感知和推理能力,通過自然語言解釋增強了模型的可解釋性。通過評估22個開源和6個閉源的LMMs,LOKI揭示了這些模型在合成數據檢測任務中的潛力和侷限性。

LOKI – 中山大學聯合上海AI Lab推出的合成數據檢測基準

LOKI的主要功能

  • 多模態數據檢測:評估LMMs在識別合成的視頻、圖像、3D模型、文本和音頻數據方面的能力。
  • 細粒度異常註釋:提供詳細的異常註釋,支持對合成數據的深入分析和理解。
  • 多層次標註:包括基本的“合成或真實”標籤,適用於基礎問題設置,更復雜的異常細節選擇和解釋任務。
  • 全面評估框架:支持多種數據格式輸入,如視頻、圖像、文本、音頻和點雲,統一了超過25種主流LMMs的API。
  • 性能比較:支持對不同的LMMs進行比較,包括開源和閉源模型,專家合成檢測模型。
  • 可解釋性測試:通過要求模型提供自然語言解釋,測試LMMs在合成數據檢測任務中的可解釋性。
  • 數據多樣性:收集了多種類型的合成數據,包括專業領域的數據,如衛星圖像和醫學圖像,環境音和音樂等音頻數據。
  • 問題難度分級:根據人類評估指標對問題進行難度分級,測試LMMs在不同難度水平上的表現。
  • 模型偏差分析:通過計算模型的偏差指數,分析模型在合成數據檢測任務中的偏差和傾向性。
  • 促進AI發展:推動更強大、更可解釋的合成數據檢測方法的發展,應對AI合成技術帶來的挑戰。

LOKI的技術原理

  • 數據收集與合成:LOKI收集了多種模態的數據,包括視頻、圖像、3D模型、文本和音頻,這些數據部分來自公開數據集,部分通過最新的合成模型生成。
  • 多模態評估框架:LOKI提出了一個全面的多模態評估框架,支持多種數據格式的輸入,統一了多種主流的LMMs的API,在統一的標準下評估不同模型的性能。
  • 模型評估與比較:LOKI基準測試包括對多個開源和閉源的LMMs進行評估。通過比較這些模型在合成數據檢測任務上的表現,可以分析它們的性能和侷限性。
  • 自然語言解釋:LOKI要求模型提供自然語言解釋,增強模型的可解釋性。測試模型的檢測能力,評估模型解釋其判斷的理由。

LOKI的項目地址

  • 項目官網:opendatalab.github.io/LOKI
  • Github倉庫:https://github.com/opendatalab/LOKI
  • arXiv技術論文:https://arxiv.org/pdf/2410.09732

LOKI的應用場景

  • 人工智能安全性評估:LOKI可以用來評估和提高AI系統在處理合成數據時的安全性和魯棒性,確保AI系統在面對潛在的合成數據攻擊時能準確識別並做出正確響應。
  • 內容審覈:在社交媒體、新聞網站和其他內容平台,LOKI可以幫助檢測和過濾掉由AI生成的假新聞、深度僞造(deepfakes)視頻或音頻,保護用戶免受誤導。
  • 數據集驗證:在機器學習模型訓練過程中,LOKI可以用於驗證數據集的質量和真實性,確保訓練數據中不包含過多的合成數據,提高模型的泛化能力。
  • 法律和合規性:在法律領域,LOKI可以幫助識別和處理與合成數據相關的版權、隱私和合規性問題,例如,檢測和防止未經授權的內容生成和分發。
  • 媒體和娛樂:在電影、遊戲和虛擬現實製作中,LOKI可以用於評估和改進合成媒體內容的質量,確保生成的內容既真實又符合創作者的意圖。
© 版權聲明

相關文章

暫無評論

暫無評論...