GroundingBooth – Adobe聯合多所高校推出主題和文本到圖像的定製框架

GroundingBooth是什麼

GroundingBooth 是一個先進的文本到圖像定製框架，由華盛頓大學聖路易斯分校、Adobe和普渡大學的研究團隊共同推出。基於文本-圖像對齊模塊和遮罩交叉注意力層，實現對前景主體和背景對象的精確空間對齊。框架能生成在佈局、身份保留和文本-圖像連貫性方面都符合個性化需求的圖像，支持多主題定製，在複雜場景中保持高準確性。GroundingBooth 是首個實現主題驅動的前景生成和文本驅動的背景生成聯合接地的工作，爲高度定製化的視覺內容創作提供了可能。

GroundingBooth的主要功能

• 單主題定製：根據用戶提供的文本描述和單個主題圖像生成與之匹配的定製圖像。
• 多主題和文本實體聯合定製：支持同時對多個主題和文本實體進行定製，生成包含多個對象和文本描述內容的複雜圖像。
• 空間對齊：確保生成的圖像中的對象在空間位置上與輸入的佈局信息一致。
• 身份保留：在圖像生成過程中保留主題的身份特徵。
• 文本-圖像對齊：確保生成的圖像內容與文本描述保持一致。

GroundingBooth的技術原理

• 特徵提取：基於 CLIP 文本編碼器和 DINOv2 圖像編碼器分別提取文本和圖像的特徵嵌入。
• 接地模塊：通過位置編碼將文本和圖像特徵與輸入的佈局信息相結合，生成接地標記。
• 遮罩交叉注意力層：在 U-Net 的每個 Transformer 塊中使用遮罩交叉注意力層來控制前景和背景特徵的結合，確保特徵注入的準確性。
• 精確佈局控制：通過訓練和推理階段的遮罩交叉注意力層，實現對生成圖像中對象大小和位置的精確控制。
• 模型訓練：在訓練階段，模型學習如何根據文本描述和參考對象生成準確的圖像佈局。
• 模型推理：在推理階段，模型處理多個參考對象，通過複製的遮罩交叉注意力層實現多主題定製。
• 避免上下文混合：區分主題驅動的前景生成和文本驅動的背景生成，避免生成過程中的上下文混淆。

GroundingBooth的項目地址

• 項目官網：groundingbooth.github.io
• arXiv技術論文：https://arxiv.org/pdf/2409.08520v1

GroundingBooth的應用場景

• 個性化商品定製：用戶根據自喜好生成定製化的商品圖像，如定製T恤、杯子、手機殼等，上面印有特定的圖案或文字。
• 藝術創作：藝術家和設計師用 GroundingBooth 生成具有特定風格和元素的藝術作品。
• 遊戲設計：遊戲開發者基於該框架快速生成遊戲中的個性化角色、場景或物品。
• 廣告和營銷：營銷人員創建與廣告文案相匹配的定製圖像，增強廣告的吸引力。
• 社交媒體內容製作：用戶在社交媒體上分享定製的圖像，圖像與特定的話題或活動相關。
• 教育和培訓材料：教育者生成具有特定信息和佈局的教學圖像，提高學習材料的吸引力和有效性。