SAM2Point – 基於SAM2的零樣本3D分割技術，增強3D分割精確度

SAM2Point是什麼

SAM2Point是基於SAM2的3D分割技術，無需額外訓練或 2D-3D 投影，直接對任意3D數據進行零樣本分割。通過將3D數據體素化，模擬爲多方向視頻流，基於SAM2實現精確的空間分割。SAM2Point 支持多種3D提示類型，如點、框和掩碼，展現出在多樣場景下的泛化能力，包括3D物體、室內室外環境及LiDAR數據，爲未來3D可提示分割研究提供了新起點。

SAM2Point的主要功能

• 無投影 3D 分割：通過將 3D 數據體素化爲視頻格式，避免了複雜的 2D-3D 投影，實現高效的零樣本 3D 分割，同時保留了豐富的空間信息。
• 多樣的提示支持：支持 3D 點、3D 框和 3D Mask 三種提示類型，實現靈活的交互式分割，增強3D分割的精確度和適應性。
• 強大的泛化能力：SAM2Point 在多種 3D 場景中表現出優越的泛化能力，包括單個物體、室內場景、室外場景和原始 LiDAR 數據，顯示了良好的跨領域轉移能力。
• 促進 3D 研究：SAM2Point 爲研究人員提供一個強大的工具，推動 3D 視覺、計算機圖形學和自動駕駛等領域的研究。

SAM2Point的技術原理

• 3D 數據體素化（Voxelization）：將連續的三維模型或場景轉換爲離散的體素網格，每個體素代表空間中的一個體積元素。
• 多方向視頻表示（Multi-directional Video Representation）：將體素化的數據重新解釋爲多方向的視頻流，每個方向代表從不同角度觀察3D數據的一系列圖像。
• 零樣本學習（Zero-shot Learning）：基於預訓練的模型在沒有看到特定類別樣本的情況下進行分割，依賴模型的泛化能力來識別和分割新的3D對象。
• 提示工程（Prompt Engineering）：通過用戶提供的3D提示（如點、框、掩碼）來指導模型的分割過程，增強模型對目標區域的識別能力。
• 並行處理（Parallel Processing）：同時處理多個視頻流，每個流代表3D數據的一個視角，以提高分割效率。

SAM2Point的項目地址

• 項目官網：sam2point.github.io
• GitHub倉庫：https://github.com/ZiyuGuo99/SAM2Point
• HuggingFace Demo體驗：https://huggingface.co/spaces/ZiyuG/SAM2Point
• arXiv技術論文：https://arxiv.org/pdf/2408.16768

SAM2Point的應用場景

• 自動駕駛：在自動駕駛系統中，SAM2Point 分割和識別道路上的障礙物、行人、車輛等，提高導航和決策的準確性。
• 機器人視覺：對於執行復雜任務的機器人，SAM2Point 幫助它們更好地理解其周圍的 3D 環境，進行精確的物體識別和抓取。
• 虛擬現實（VR）和增強現實（AR）：在 VR 和 AR 應用中，SAM2Point 用於實時環境理解和交互，提供更加豐富和沉浸式的用戶體驗。
• 城市規劃和建築：在城市規劃和建築設計中，SAM2Point 幫助分析和理解 3D 模型，優化設計和規劃流程。
• 遊戲開發：在遊戲開發中，SAM2Point 用於創建更加真實的 3D 環境和物體，提高遊戲的視覺效果和交互性。