LDGen – 理想汽車推出的多語言文本到圖像生成技術

LDGen是什麼

LDGen是創新的文本到圖像合成技術，通過結合大型語言模型（LLMs）與擴散模型，提升文本描述到圖像生成的質量和語義一致性。通過分層標題優化和人類指令技術，提取文本中的精確語義信息，基於輕量級適配器實現LLMs與圖像特徵的高效對齊和交互。LDGen支持零樣本多語言生成，能根據多種語言的文本描述生成高質量圖像，顯著優於傳統方法。

LDGen的主要功能

• 多語言零樣本生成：通過將大型語言模型（LLM）與現有的文本到圖像擴散模型相結合，LDGen支持零樣本多語言文本到圖像生成。在訓練中僅使用英語提示，模型也能生成多種語言描述的圖像，顯著提升了跨語言生成能力。
• 語言表示優化：採用分層字幕優化和人工指令技術，提取更精確的語義信息，增強文本與圖像之間的語義對齊。提高了生成圖像的語義一致性，避免了因錯誤指令導致的虛假信息。
• 提升生成質量：在多項實驗中，LDGen在指令遵循度和圖像美學質量方面優於基線模型和其他增強方法，如PixArt-、ELLA等。

LDGen的技術原理

• 語言表示策略：LDGen採用分層字幕優化和人工指令技術來提取更精確的語義信息。通過生成不同長度的字幕，並結合人工指令優化，模型能夠更好地捕捉圖像內容的層次結構，同時避免因錯誤指令導致的虛假信息。
• LLM對齊模塊：爲了將LLM的特徵與現有擴散模型的特徵對齊，LDGen設計了一個輕量級的適配器。適配器通過調整LLM輸出的特徵空間，使其與T5等文本編碼器的特徵空間相匹配，實現高效的特徵對齊。
• 跨模態精煉器：LDGen引入跨模態精煉器模塊，用於增強LLM特徵與圖像特徵之間的交互。模塊通過自注意力機制、交叉注意力機制等組件，優化LLM的特徵表示，進一步提升文本與圖像之間的語義對齊。
  • 自注意力機制（Self-Attention）：優化LLM特徵的內部表示。
  • 交叉注意力機制（Cross-Attention）：以LLM特徵爲查詢（Query），圖像特徵爲鍵（Key）和值（Value），促進文本與圖像之間的深度交互。
  • 可學習的縮放因子（Learnable Scaling Factors）：在訓練過程中動態平衡原始特徵和優化後的特徵，確保從預訓練權重到新特徵的無縫過渡。
• 高效訓練策略與效率：LDGen通過分階段訓練顯著降低了計算需求：
  • 特徵對齊階段：使用約8000萬條文本數據訓練LLM對齊模塊。
  • 微調階段：在512分辨率下使用2400萬對文本-圖像對進行微調。
  • 高分辨率訓練階段：在1024分辨率下使用1400萬條數據繼續訓練。整個訓練過程僅需約120個A100 GPU天，相比PixArt-α減少了約74%的計算資源。

LDGen的項目地址

• 項目官網：https://zrealli.github.io/LDGen/
• Github倉庫：https://github.com/zrealli/LDGen
• arXiv技術論文：https://arxiv.org/pdf/2502.18302

LDGen的應用場景

• 藝術創作與設計：藝術家和設計師可以用LDGen從創意描述生成高質量的圖像，加速創作過程。快速將文本描述轉化爲視覺內容，幫助創作者探索不同的設計方向。
• 廣告與營銷：在廣告和營銷領域，LDGen可以根據品牌風格或市場趨勢快速生成吸引人的廣告圖像和社交媒體帖子。通過文本描述直接生成圖像，可以提高宣傳材料的吸引力和個性化。
• 媒體與娛樂：LDGen可用於電影、遊戲和動畫製作中的概念藝術創建，生成場景和角色的初步視覺表示。在電影製作中，可以生成特效場景的初步草圖，幫助導演和設計師快速預覽場景佈局。
• 教育：在教育領域，LDGen可以幫助學生和教師創建教學材料，如歷史場景重現或科學概唸的視覺化。通過文本描述生成圖像，可以更直觀地展示覆雜的概念。
• 電子商務：在線零售商可以用LDGen生成產品的視覺展示，展示服裝在不同環境或不同模特身上的效果。能幫助商家快速生成高質量的產品圖片，提升用戶體驗。