MimicBrush – 阿里等開源的AI圖像編輯融合框架

3 0 0

MimicBrush是什麼

MimicBrush是由阿里巴巴、香港大學和螞蟻集團的研究人員推出的AI圖像編輯融合框架，允許用戶通過簡單的操作，在源圖像上指定需要編輯的區域，並提供一個包含期望效果的參考圖像進行圖片編輯。MimicBrush能夠自動識別和模仿參考圖像中的視覺元素，將其應用到源圖像的相應區域，支持如對象替換、樣式轉換、紋理調整等圖像編輯操作。該技術特別適用於產品定製、角色設計和特效製作等場景，極大地簡化了傳統圖像編輯的複雜流程，提高了編輯效率和靈活性。

MimicBrush的功能特色

參考圖像模仿：用戶在源圖像上圈定希望編輯的特定區域，提供一張包含所需樣式或對象的參考圖像。MimicBrush便能分析並模仿參考圖像中的特定視覺特徵，將這些特徵無縫應用到源圖像的指定區域，實現風格或內容的一致性。
自動區域識別：MimicBrush利用先進的圖像識別技術可自動檢測和確定編輯區域。用戶無需手動繪製遮罩或進行繁瑣的選擇，簡化了編輯前的準備工作。
一鍵編輯應用：用戶只需點擊一個按鈕，即可啓動編輯過程。MimicBrush將自動執行從區域識別到特徵模仿的整個編輯流程，編輯操作變得快速且用戶友好，無需多步操作。
多樣化編輯效果：支持對象替換，如將一種物體替換爲另一種物體；可實現樣式轉換，比如改變服裝的圖案或顏色。還能進行紋理調整，如將一種材質的紋理應用到另一物體表面。
實時反饋：在編輯過程中，MimicBrush提供即時的預覽功能。用戶可以實時看到編輯效果，及時進行調整和優化，確保了編輯結果更符合用戶的預期和需求。
靈活性和適應性：MimicBrush能夠適應不同的圖像內容，包括複雜場景和多樣風格，提供多種編輯選項，使用戶能夠根據個人喜好進行個性化調整。

MimicBrush的官網入口

官方項目主頁：https://xavierchen34.github.io/MimicBrush-Page/
GitHub代碼庫：https://github.com/ali-vilab/MimicBrush
Hugging Face Demo：https://huggingface.co/spaces/xichenhku/MimicBrush
ModelScope模型：https://www.modelscope.cn/models/xichen/MimicBrush/summary
arXiv技術論文：https://arxiv.org/abs/2406.07547

MimicBrush的技術原理

MimicBrush – 阿里等開源的AI圖像編輯融合框架

自我監督學習：MimicBrush通過自我監督的方式進行訓練，利用視頻幀之間的自然一致性和視覺變化。在訓練過程中，系統隨機選擇視頻中的兩幀，一幀作爲源圖像，另一幀作爲參考圖像，學習如何使用參考圖像的信息來補全源圖像中被遮罩的部分。
雙擴散UNets結構：MimicBrush採用了兩個UNet網絡，即“imitative U-Net”和“reference U-Net”。這兩個網絡分別處理源圖像和參考圖像，並通過共享注意力層中的鍵（keys）和值（values）進行信息交互，幫助系統定位參考圖像中與源圖像編輯區域相對應的部分。
注意力機制：在MimicBrush中，參考U-Net提取的注意力鍵和值被注入到模仿U-Net中，這種機制有助於模仿U-Net更準確地完成遮罩區域的生成，確保生成的區域與源圖像的背景和其他元素和諧地融合。
數據增強：爲了增加源圖像和參考圖像之間的變化性，MimicBrush在訓練過程中應用了強烈的數據增強技術，包括顏色抖動、旋轉、縮放和翻轉等，以提高模型對不同姿態、光照和視角下圖像的泛化能力。
遮罩策略：MimicBrush採用了一種智能的遮罩策略，通過SIFT特徵匹配來確定源圖像中的關鍵區域，並增加這些區域被遮罩的可能性，從而促使模型學習如何從參考圖像中找到並模仿更有意義的視覺元素。
深度模型：MimicBrush還利用深度模型來預測源圖像的深度圖，作爲形狀控制的可選條件，這使得MimicBrush能夠在紋理轉移任務中保持源對象的形狀，同時僅將參考圖像的紋理或圖案應用到源對象上。
評估基準：爲了全面評估MimicBrush的性能，研究人員構建了一個包含部分合成和紋理轉移任務的高質量基準，涵蓋了多種實際應用場景，如時尚、產品設計等。