LLaDA-Image – 螞蟻集團開源的統一圖像生成與編輯模型

LLaDA-Image是什麼

LLaDA-Image 是螞蟻集團 inclusionAI 開源的 6B 參數統一圖像生成與編輯模型。模型採用先純圖預訓練、後語言對齊的創新路線，用全擴散架構（LLaDA2.0-mini 理解 + 6B DiT 生成）實現文生圖、指令編輯和中英文字渲染。Turbo 版僅需 2–4 步可出圖，在 Qwen-Image-Bench 中英文雙賽道均獲開源第一。

LLaDA-Image的主要功能

• 文本到圖像生成：根據自然語言描述生成高保真、細節豐富的照片級圖像。
• 指令式圖像編輯：上傳參考圖並輸入自然語言指令，精準修改指定區域同時保持其餘部分不變。
• 中英雙語文字渲染：在生成圖像中準確呈現中文和英文文本，支持海報、排版及藝術字設計。
• VQ 條件生成：基於視覺量化（VQ）token 作爲條件輸入，實現可控的圖像生成。
• 參考圖編輯：以上傳圖片爲參考，進行風格遷移、內容修改等編輯操作。
• Turbo 快速推理：蒸餾版模型僅需 2–4 步採樣可生成 1024×1024 高質量圖像。

LLaDA-Image的技術原理

• 全擴散統一架構：模型由理解模塊 LLaDA2.0-mini（基於 MoE 的擴散語言模型）和生成模塊 6B DiT 組成，兩者後端均爲擴散模型，通過 Connector 橋接，實現語義理解與像素生成的解耦。
• 分階段訓練策略：採用”先學會畫，再學會聽話”的路線，先進行純圖像預訓練和中期訓練建立強視覺生成先驗，再引入成對語言監督完成文本-視覺對齊。
• 高質量數據構建：生成訓練累計使用約 2.2 億樣本，其中 98% 爲真實圖像；語言對齊階段的圖文描述由 Qwen 系列大模型生成並校驗，確保指令跟隨的準確性。
• 高效訓練優化：全鏈路使用參數無關的 RMSNorm 替代 LayerNorm，並採用 Muon 優化器，提升大規模訓練的穩定性和效率。
• Twin-DMD 快速蒸餾：Turbo 版本通過 Twin-DMD 蒸餾技術將 Base 模型壓縮，2–4 步採樣可生成 1024×1024 高質量圖像，實現速度與質量的平衡。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用LLaDA-Image

• 環境配置：安裝 Python 3.11、PyTorch 2.8、Diffusers 0.39.0 及 FlashAttention 2.8.3 等依賴，搭建本地推理環境。
• 獲取權重：從 Hugging Face 或魔搭 ModelScope 下載 LLaDA-Image（高保真版）或 LLaDA-Image-Turbo（快速版）的模型文件。
• 文本生成圖像：加載模型後輸入描述文本，Base 版設置 50 步、guidance scale 5.0，Turbo 版設置 2–4 步、guidance scale 1.0，生成 1024×1024 圖像。
• 指令編輯圖像：上傳參考圖並輸入自然語言編輯指令（如”將背景換成海邊”），模型自動保持未編輯區域不變。
• 注意尺寸規範：文生圖與 VQ 條件生成的輸入尺寸需爲 16 的倍數，編輯任務需爲 32 的倍數。