ArtCrafter – 清華聯合鵬城實驗室和聯想共同推出的文本到圖像風格遷移框架

ArtCrafter是什麼

ArtCrafter是清華大學、鵬城實驗室和聯想研究院共同推出的文本到圖像風格遷移框架，基於擴散模型，解決傳統方法在風格表達、內容一致性和輸出多樣性方面的侷限。ArtCrafter基於嵌入重構架構實現，包含三個關鍵組件：基於注意力的風格提取模塊，用多層架構和感知器注意力機制從參考圖像中提取細膩的風格特徵；文本-圖像對齊增強模塊，基於注意力交互將圖像和文本嵌入映射到共享特徵空間，使生成圖像更貼近文本提示內容；顯式調製組件，基於線性插值和拼接融合原始與多模態嵌入，生成多樣化且與文本相關的圖像。

ArtCrafter的主要功能

• 風格遷移：將參考圖像的風格特徵遷移到生成圖像中，實現多樣化的藝術風格表現。
• 文本引導：根據文本提示生成與之內容一致的圖像，滿足個性化創作需求。
• 增強多樣性：生成具有豐富視覺表現和風格變化的圖像，避免結果過於單一。
• 保持一致性：在風格遷移過程中，保持生成圖像與文本提示和參考圖像內容的高度一致性。
• 兼容性強：與現有的可控工具兼容，靈活應用於不同的創作場景和需求。

ArtCrafter的技術原理

• 基於擴散模型：基於擴散模型的生成能力，逐步去噪生成圖像。
• 嵌入重構架構：基於嵌入重構設計，將文本和圖像嵌入映射到共享特徵空間，實現跨模態的融合與交互。
• 基於注意力的風格提取：採用多層架構和感知器注意力機制，從參考圖像中提取局部和全局的風格特徵，確保風格編碼的準確性和豐富性。
• 文本-圖像對齊增強：用精心設計的注意力交互，動態調整文本提示中不同部分的重要性，使生成圖像更好地反映文本內容。
• 顯式調製：基於線性插值和拼接等方法，將原始圖像和文本嵌入與多模態嵌入融合，增強模型的適應性和生成結果的多樣性。

ArtCrafter的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2501.02064

ArtCrafter的應用場景

• 個性化創作：幫助藝術家快速實現創作想法，探索更多藝術可能性。
• 娛樂與遊戲：遊戲開發者在設計中生成符合風格設定的形象，爲遊戲增添獨特的視覺元素。
• 藝術教育：美術老師在給學生講解印象派藝術風格時，生成幾幅具有印象派特點的風景畫，讓學生直觀地感受印象派對光影、色彩的獨特處理方式，加深對藝術風格的理解。
• 廣告創意：運動品牌設計師生成充滿活力、陽光氣息的運動場景圖像，用在廣告製作，吸引年輕消費者的注意力。
• 藝術風格分析：藝術史研究者對比分析生成的圖像，研究者能更深入地探討特定藝術時期藝術家對人體比例、光影處理等方面的共同特點和創新之處。