MCA-Ctrl – 中科院和中科大推出的圖像定製生成框架

MCA-Ctrl是什麼

MCA-Ctrl（Multi-party Collaborative Attention Control）是中科院計算所和中國科學院大學的推出的圖像定製生成框架，基於文本和複雜視覺條件實現高質量的圖像生成。MCA-Ctrl引入兩種注意力控制策略，Self-Attention Global Injection（SAGI）和Self-Attention Local Query（SALQ），及一個主體定位模塊（SLM），解決背景不一致、主體混淆等問題。MCA-Ctrl在零樣本圖像定製方面優於現有方法，能有效保持主體特徵和條件信息的一致性。

MCA-Ctrl的主要功能

• 高質量圖像定製：在文本或圖像條件下生成高質量的定製圖像，保持與條件輸入的語義一致性。
• 主體特徵保持：在複雜的視覺場景中，準確捕捉特定主體的外觀和內容，同時避免主體泄漏和混淆問題。
• 背景一致性：在圖像條件生成中，保持背景的一致性。
• 零樣本生成：支持直接在零樣本條件下生成高質量的圖像。
• 多種任務支持：支持多種圖像定製任務，包括主體生成、主體替換和主體添加等。

MCA-Ctrl的技術原理

• 多主體協同擴散過程：基於三個並行的擴散過程，主體擴散過程（Bsub）、條件擴散過程（Bcon）和目標擴散過程（Btgt）。主體擴散過程負責處理主體圖像，條件擴散過程處理條件圖像或文本，目標擴散過程生成最終的定製圖像。
• 自注意力層操作：Self-Attention Global Injection（SAGI）將主體和條件圖像的全局自注意力特徵注入到目標擴散過程中，增強目標圖像的細節真實性和內容一致性。SAGI操作有助於糾正由局部查詢引起的特徵混淆。目標擴散過程基於查詢主體和條件圖像的局部特徵，獲取主體的外觀和背景內容。SALQ操作確保生成的圖像在主體和背景上與條件圖像保持高度一致性。
• 主體定位模塊（SLM）：爲在複雜視覺場景中準確識別和定位主體，引入主體定位模塊。SLM結合目標檢測模型（如DINO）和分割模型（如SAM），處理多模態指令，輸出精確的主體圖像層和可編輯圖像層，減少特徵混淆和僞影。
• 無調優框架：MCA-Ctrl不需要對每個主體進行單獨的微調訓練，基於注意力控制策略和主體定位模塊，在零樣本條件下實現高質量的圖像定製。

MCA-Ctrl的項目地址

• GitHub倉庫：https://github.com/yanghan-yh/MCA-Ctrl
• arXiv技術論文：https://arxiv.org/pdf/2505.01428

MCA-Ctrl的應用場景

• 數字內容創作：快速生成遊戲、動畫中的角色和場景。
• 廣告與營銷：製作個性化廣告圖像和品牌推廣素材。
• 娛樂與社交媒體：生成個性化頭像、圖片和社交媒體內容。
• 教育與培訓：輔助教學材料製作，創建虛擬實驗室場景。
• 藝術與設計：提供藝術創作靈感，輔助室內設計預覽。