Deep Video Discovery – 微軟推出的深度視頻探索智能體

Deep Video Discovery是什麼

Deep Video Discovery（DVD）是微軟推出的深度視頻探索智能體，專爲理解和分析長視頻設計。Deep Video Discovery將長視頻分割成多個較短的片段，基於大型語言模型（LLM）的高級推理能力，自主地規劃和選擇合適的工具及參數來收集信息。Deep Video Discovery配備一套搜索中心的工具，包括全局瀏覽、片段搜索和幀檢查，能在不同層次上收集信息，基於迭代推理逐步構建對視頻內容的理解。在多個長視頻理解基準測試中，Deep Video Discovery均取得最先進的性能，顯著提高長視頻理解的準確性和效率。

Deep Video Discovery的主要功能

• 多粒度視頻理解：從全局、片段和幀三個層次理解和分析視頻內容，提供全面的視頻理解能力。
• 自主搜索與推理：自主地規劃和執行搜索策略，根據用戶查詢動態選擇合適的工具和參數，逐步收集信息並構建對視頻內容的理解。
• 高效信息檢索：基於全局瀏覽、片段搜索和幀檢查等工具，快速定位和提取與用戶查詢相關的視頻片段和細節。
• 長視頻理解：擅長處理長達數小時的信息密集型視頻，能有效解決長視頻理解中的時間和空間複雜性問題。
• 靈活的工具使用：根據不同的任務需求，靈活組合和使用多種工具，實現高效的視頻內容分析和問題回答。

Deep Video Discovery的技術原理

• 多粒度視頻數據庫構建：將長視頻均勻分割成多個較短的片段（clips），每個片段大約5秒。從全局、片段和幀三個層次提取視頻信息。全局層提供視頻的主體和事件總結，片段層提供文本描述（caption），幀層保留原始像素信息。構建一個包含解碼幀、文本描述和對應嵌入向量的結構化數據庫，支持快速檢索和詳細分析。
• 自主搜索與答案生成：
  • 全局瀏覽（Global Browse）：提供視頻的全局總結，幫助代理快速解視頻的主體和主要事件。
  • 片段搜索（Clip Search）：基於文本嵌入匹配，快速檢索與用戶查詢相關的視頻片段。
  • 幀檢查（Frame Inspect）：在特定時間範圍內進行細粒度的視覺問答（VQA），提取幀級別的詳細信息。
  • 自主代理設計：Agent基於迭代的觀察-推理-行動循環，用LLM的推理能力，動態選擇和使用工具，逐步收集信息並構建對視頻內容的理解。
  • 迭代推理：Agent根據當前的觀察狀態和推理結果，選擇合適的工具和參數，逐步細化查詢，最終生成準確的答案。
• LLM驅動的推理：LLM作爲核心，負責推理和規劃。LLM根據當前的對話歷史和觀察結果，選擇合適的工具和參數，動態調整推理策略。根據任務需求，靈活組合和使用不同的工具，構建多步驟的工具使用鏈，解決複雜的查詢任務。

Deep Video Discovery的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2505.18079

Deep Video Discovery的應用場景

• 教育領域：在線教育平台分析長視頻課程，學生快速定位到課程中特定知識點或章節。
• 體育賽事分析：體育賽事分析比賽視頻，快速提取關鍵事件。
• 視頻監控：安防監控系統中，實時分析監控視頻，快速識別異常行爲或事件。
• 影視製作：影視後期製作團隊分析拍攝素材，快速找到所需鏡頭。
• 企業會議記錄：企業分析會議視頻，快速提取會議要點和關鍵決策。