DMAD – 字節聯合德州農工開源的擴散模型少步蒸餾技術

DMAD是什麼

DMAD（Distribution Matching as Adversarial Distillation）是字節跳動與德州農工大學聯合開源的少步蒸餾框架，用於加速擴散模型生成。DMAD訓練二分類判別器直接學習目標分佈與學生分佈的差異，省去輔助擴散模型，將50步教師模型蒸餾爲4步學生模型。已支持ImageNet、SDXL、Wan2.1及MiniMax-H3-33B，8GB顯存可生成約5秒1344×768有聲視頻。

DMAD的主要功能

• 少步圖像生成：將 ImageNet-64 的 EDM 模型蒸餾至 1 步採樣，FID 低至 1.04，SDXL 僅需 4 步可文生圖。
• 少步文生視頻：把 Wan2.1-T2V-14B 蒸餾爲 4 步學生模型，VBench 達 85.15。
• 聯合音視頻生成：將 MiniMax-H3-33B 的 50 步教師模型蒸餾爲 4 步，輸出 1344×768 視頻與 32kHz 原生立體聲音頻。
• 消費級硬件支持：提供 8GB 顯存 ComfyUI 工作流與低顯存命令行推理，8GB 顯卡可生成約 5 秒、12GB 約 15 秒有聲視頻。
• 訓練與推理全開源：發佈蒸餾方法、訓練代碼、推理腳本及多模型 LoRA 權重，覆蓋命令行與 ComfyUI 兩種使用方式。

DMAD的技術原理

• 分佈匹配即對抗蒸餾：DMAD 爲訓練二分類判別器區分目標樣本與學生樣本，最優判別器的 logit 等於兩分佈的對數密度比，對其輸入求梯度即得 score 差，直接給出學生的修正方向，省掉輔助 score 擬合模型。
• 共享骨幹、雙頭判別器：判別器採用單一共享特徵骨幹、兩個判別頭，教師頭區分教師樣本與學生樣本，真實數據頭區分真實樣本與學生樣本，均用二元交叉熵訓練；學生用兩個 logit 的加權線性損失更新，更新時凍結判別器參數但保留梯度回傳。
• 噪聲區間動態加權：教師樣本與真實數據的分佈差異隨噪聲水平變化，DMAD 用真實數據頭在兩類樣本上的平均 logit 差作爲經驗信號，以 0.99 衰減的指數移動平均追蹤各噪聲區間，差距小的區間獲得更高教師權重，歸一化後參與學生損失。
• 離線教師樣本加速訓練：教師只提供預生成並緩存的樣本，訓練時無需在線調用教師。4 卡 H200、MiniMax-H3 rank-128 LoRA 配置下，每次學生更新及關聯判別器更新耗時從 818.1 秒降至 233.3 秒，實現約 3.51 倍訓練加速。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用DMAD

• 克隆倉庫：git clone https://github.com/Yzmblog/DMAD.git 並進入項目目錄。
• 創建環境：用 conda 創建 Python 3.12 環境並激活。
• 安裝依賴：按官方固定版本安裝 PyTorch 2.11.0（cu126）、torchvision、torchaudio，再執行 pip install -r requirements.txt 和 pip install -U modelscope-hub。
• 準備硬件：確保有支持 CUDA 的 NVIDIA 顯卡，並預留約 64GB 系統內存與 170GB 磁盤空間。
• 下載基礎模型：通過 modelscope download MiniMax/MiniMax-H3 下載 MiniMax-H3 基礎模型。
• 下載蒸餾權重：從魔搭下載 DMAD 的 4 步 LoRA。
• 命令行推理：運行 inference.py，指定模型路徑、LoRA、提示詞文件、--steps 4、--height 768 --width 1344，按顯存選擇 --low-vram 8或 --low-vram 12。
• 查看輸出：輸出目錄包含 0000.mp4、提示詞 txt 和 settings.json，跑通後可替換爲自己的提示詞文件。

DMAD的核心優勢

• 推理大幅提速：將 50 步教師模型蒸餾爲 4 步學生模型，去噪迭代減少 92% 以上，同時保持接近教師的生成質量。
• 訓練效率更高：判別器直接學習分佈差異，省去輔助擴散模型，4 卡 H200 上訓練更新加速約 3.51 倍。
• 生成質量領先：ImageNet-64 一步生成 FID 達 1.04，優於 DMD2、SiDA 等方法；人類評估中對 DMD2 總體偏好率 79.1%、對 rCM 達 84.6%。
• 覆蓋多模態全場景：同一框架統一支持圖像、文生視頻和聯合音視頻生成。

DMAD的項目地址

• 項目官網：https://yzmblog.github.io/projects/DMAD/
• GitHub倉庫：https://github.com/Yzmblog/DMAD
• HuggingFace模型庫：https://huggingface.co/ZhengmingYu/DMAD
• arXiv技術論文：https://arxiv.org/pdf/2610.02188

DMAD的同類競品對比

DMAD的應用場景

• 短視頻內容創作：4 步生成帶原生音頻的 5–15 秒視頻，創作者在 8GB 消費級顯卡上即可快速產出社交媒體素材，大幅降低製作成本。
• 廣告與營銷素材生成：品牌方可基於提示詞批量生成產品展示、場景化視頻，配合高質量音頻輸出，縮短廣告素材從構思到成品的週期。
• 影視預演與概念設計（Previs）：導演和美術團隊用少步蒸餾快速生成鏡頭預演、氛圍參考和分鏡草樣，加速前期創意迭代。
• 遊戲與動畫資產製作：生成角色動畫、場景概念圖和動態背景素材，輔助獨立遊戲工作室和小型動畫團隊降低資產生產成本。