DUSt3R – 從任意圖像集閤中重建3D場景的框架

DUSt3R是什麼

DUSt3R（Dense and Unconstrained Stereo 3D Reconstruction，密集無約束立體三維重建）是由來自芬蘭阿爾託大學和Naver歐洲實驗室的研究人員推出的一個3D重建框架，旨在簡化從任意圖像集閤中重建三維場景的過程，而無需事先瞭解相機校準或視點位置的信息。該方法將成對重建問題視爲點圖的迴歸問題，放寬了傳統投影相機模型的約束，還引入了全局對齊策略以處理多個圖像對。

DUSt3R的官網入口

• 官方項目主頁：https://dust3r.europe.naverlabs.com/
• GitHub代碼庫：https://github.com/naver/dust3r
• arXiv研究論文：https://arxiv.org/abs/2312.14132

DUSt3R的主要功能

• 快速3D重建：DUSt3R能夠在極短的時間內（不到2秒鐘）從輸入圖片中重建出3D模型，對於實時應用或快速原型製作非常有用。
• 無需相機校準：與傳統的3D重建技術不同，DUSt3R不需要任何相機校準或視點姿勢的先驗信息。這意味着用戶無需進行復雜的設置，只需提供圖片即可。
• 多視圖立體重建（MVS）：DUSt3R能夠處理多視圖立體重建任務，即使在提供超過兩張輸入圖像的情況下，也能有效地將所有成對的點圖表示爲一個共同的參考框架。
• 單目和雙目重建：DUSt3R統一了單目和雙目重建的情況，即可以使用單個圖像或成對的圖像來進行3D重建。
• 生成多種類型的3D視覺圖：除了3D重建，DUSt3R還能生成深度圖，可以理解場景中物體的相對位置和距離。此外，DUSt3R還能輸出置信度圖，用於評估重建結果的準確性，以及用於3D建模和可視化的點雲圖。

DUSt3R的技術原理

• 點圖（Pointmaps）：DUSt3R使用點圖作爲其核心表示，這是一種密集的2D場，其中包含了3D點的信息。點圖爲每個像素提供了一個與之對應的3D點，從而在圖像像素和3D場景點之間建立了直接的對應關係。
• Transformer網絡架構：DUSt3R基於標準的Transformer編碼器和解碼器構建其網絡架構。該架構允許模型利用強大的預訓練模型，從而在沒有顯式幾何約束的情況下，從輸入圖像中學習到豐富的幾何和外觀信息。
• 端到端訓練：DUSt3R通過端到端的方式進行訓練，可以直接從圖像對中學習到點圖，而不需要進行復雜的多步驟處理，如特徵匹配、三角測量等。
• 全局對齊策略：當處理多於兩張圖像時，DUSt3R提出了一種全局對齊策略，該策略能夠將所有成對點圖表達在共同的參考框架中，能夠處理多個圖像對，這對於多視圖3D重建尤爲重要。
  
• 多任務學習：DUSt3R能夠在訓練過程中同時學習多個相關任務，如深度估計、相機參數估計、像素對應關係等。這種多任務學習策略使得模型能夠更全面地理解場景的幾何結構。