BrushNet – 騰訊推出的高質量圖像照片修復模型

BrushNet是什麼

BrushNet是由騰訊PCG部門的ARC實驗室與香港大學的研究人員推出的一個基於擴散模型的即插即用的圖像照片修復（Inpainting）模型，通過分解的雙分支架構來有效處理圖像中的遮罩區域。該模型的一個分支專注於提取遮罩圖像的像素級特徵，而另一個分支則負責圖像的生成。這種設計使得BrushNet能夠將關鍵的遮罩信息以分層的方式精細地融入到修復過程中，從而在保持原有圖像內容連貫性的同時，生成高質量的修復結果。

與以前的圖像修復方法相比（如Blended Latent Diffusion、Stable Diffusion Inpainting、HD-Painter、PowerPaint等），BrushNet的圖像還原修復能力無論是在風格、內容，還是顏色和提示對齊等方面都表現出了優越的連貫性。

BrushNet的官網入口

• 官方項目主頁：https://tencentarc.github.io/BrushNet/
• GitHub代碼庫：https://github.com/TencentARC/BrushNet
• arXiv研究論文：https://arxiv.org/abs/2403.06976

BrushNet的功能特性

• 修復不同類型的圖像：BrushNet可修復不同場景的圖像，如人類、動物、室內和室外場景，還可以修復不同風格的圖像，如自然圖像、鉛筆畫、動漫、插圖、水彩等。
• 像素級修復：BrushNet能夠識別和處理圖像中的遮罩區域，對每個像素進行精確的修復，確保修復區域與原始圖像在視覺上的無縫對接。
• 保留未遮罩區域：通過分層控制和特定的模糊融合策略，BrushNet能夠在修復過程中保留未被遮罩的區域，避免對原始圖像內容的不必要改動。
• 與預訓練模型的兼容性：作爲一個即插即用的模型，BrushNet可以與各種預訓練的擴散模型（如DreamShaper、epiCRealism、MeinaMix等）結合，利用這些模型的強大生成能力來完成修復任務。
• 靈活性和控制性：用戶可以通過調整模型的參數來控制修復的規模和細節，包括修復區域的大小和修復內容的詳細程度。

BrushNet的工作原理

BrushNet 基於擴散模型通過一個創新的雙分支架構來執行圖像修復任務。

以下是BrushNet工作原理的簡要概述：

1. 雙分支架構：BrushNet的核心是一個分解的雙分支架構，其中一個分支專注於處理遮罩圖像的特徵，而另一個分支負責生成圖像的其餘部分。
2. 遮罩圖像特徵提取：在遮罩分支中，模型使用變分自編碼器（VAE）對遮罩圖像進行編碼，以提取其潛在特徵。這些特徵隨後被用來指導圖像的修復過程。
3. 預訓練擴散模型：在生成分支中，模型利用預訓練的擴散模型來生成圖像內容。這個模型已經學會了如何從噪聲中恢復出清晰的圖像。
4. 特徵融合：提取的遮罩圖像特徵被逐步融合到預訓練的擴散模型中，這樣可以通過層級的方式細緻地控制修復過程。
5. 去噪和生成：在反向擴散過程中，模型通過迭代去噪步驟，逐步從噪聲中恢復出清晰的圖像。每一步都會考慮遮罩圖像的特徵，以確保修復區域與原始圖像的其餘部分在視覺上保持一致。
6. 模糊融合策略：爲了更好地保留未遮罩區域的細節，BrushNet採用了模糊融合策略。這意味着在融合遮罩區域和生成區域時，會使用模糊的遮罩來減少硬邊緣和不自然的過渡。
7. 輸出修復圖像：最終，模型輸出一個修復後的圖像，其中遮罩區域被自然而連貫地填充，同時未遮罩區域的原始內容得到保留。