最好用的AI工具
首頁 / 搜尋結果

搜尋：Wan2.1

2 個結果

DMAD – 字節聯合德州農工開源的擴散模型少步蒸餾技術

DMAD是什麼 DMAD（Distribution Matching as Adversarial Distillation）是字節跳動與德州農工大學聯合開源的少步蒸餾框架，用於加速擴散模型生成。DMAD訓練二分類判別器直接學習目標分佈與學生分佈的差異，省去輔助擴散模型，將50步教師模型蒸餾爲4步學生模型。已支持ImageNet、SDXL、Wan2.1及MiniMax-H3-33B，8GB顯存可生成約5秒1344×768有聲視頻。 DMAD的主要功能 少步圖像生成：將 ImageNet-64 的 EDM 模型蒸餾至 1 步採樣，FID 低至 1.04，SDXL 僅需 4 步可文生圖。 少步文生視頻：把 Wan2.1-T2V-14B 蒸餾爲 4 步學生模型，VBench 達 85.15。 聯合音視頻生成：將 MiniMax-H3-33B 的 50 步教師模型蒸餾爲 4 步，輸出 1344×768 視頻與 32kHz 原生立體聲音頻。 消費級硬件支持：提供 8GB 顯存 ComfyUI 工作流與低顯存命令行推理，8GB 顯卡可生成約 5 秒、12GB 約 15 秒有聲視頻。 訓練與推理全開源：發佈蒸餾方法、訓練代碼、推理腳本及多模型 LoRA 權重，覆蓋命令行與 ComfyUI 兩種使用方式。 DMAD的技術原理 分佈匹配即對抗蒸餾：DMAD 爲訓練二分類判別器區分目標樣本與學生樣本，最優判別器的 logit 等於兩分佈的對數密度比，對其輸入求梯度即得 score 差，直接給出學生的修正方向，省掉輔助 score 擬合模型。 共享骨幹、雙頭判別器：判別器採用單一共享特徵骨幹、兩個判別頭，教師頭區分教師樣本與學生樣本，真實數據頭區分真實樣本與學生樣本，均用二元交叉熵訓練；學生用兩個 logit 的加權線性損失更新，更新時凍結判別器參數但保留梯度回傳。 噪聲區間動態加權：教師樣本與真實數據的分佈差異隨噪聲水平變化，DMAD 用真實數據頭在兩類樣本上的平均 logit 差作爲經驗信號，以 0.99 衰減的指數移動平均追蹤各噪聲區間，差距小的區間獲得更高教師權重，歸一化後參與學生損失。 離線教師樣本加速訓練：教師只提供預生成並緩存的樣本，訓練時無需在線調用教師。4 卡 H200、MiniMax-H3 rank-128 LoRA 配置下，每次學生更新及關聯判別器更新耗時從 818.1 秒降至 233.3 秒，實現約 3.51 倍訓練加速。 微信關注回覆“開源”，加入AI開源項目交流羣 如何使用DMAD 克隆倉庫：git clone https://github.com/Yzmblog/DMAD.git 並進入項目目錄。 創建環境：用 conda 創建 Python 3.12 環境並激活。 安裝依賴：按官方固定版本安裝 PyTorch 2.11.0（cu126）、torchvision、torchaudio，再執行 pip install -r requirements.txt 和 pip install -U modelscope-hub。 準備硬件：確保有支持 CUDA 的 NVIDIA 顯卡，並預留約 64GB 系統內存與 170GB 磁盤空間。 下載基礎模型：通過 modelscope download MiniMax/MiniMax-H3 下載 MiniMax-H3 基礎模型。 下載蒸餾權重：從魔搭下載 DMAD 的 4 步 LoRA。 命令行推理：運行 inference.py，指定模型路徑、LoRA、提示詞文件、--steps 4、--height 768 --width 1344，按顯存選擇 --low-vram 8或 --low-vram 12。 查看輸出：輸出目錄包含 0000.mp4、提示詞 txt 和 settings.json，跑通後可替換爲自己的提示詞文件。 DMAD的核心優勢 推理大幅提速：將 50 步教師模型蒸餾爲 4 步學生模型，去噪迭代減少 92% 以上，同時保持接近教師的生成質量。 訓練效率更高：判別器直接學習分佈差異，省去輔助擴散模型，4 卡 H200 上訓練更新加速約 3.51 倍。 生成質量領先：ImageNet-64 一步生成 FID 達 1.04，優於 DMD2、SiDA 等方法；人類評估中對 DMD2 總體偏好率 79.1%、對 rCM 達 84.6%。 覆蓋多模態全場景：同一框架統一支持圖像、文生視頻和聯合音視頻生成。 DMAD的項目地址 項目官網：https://yzmblog.github.io/projects/DMAD/ GitHub倉庫：https://github.com/Yzmblog/DMAD Huggin

阿里 Wan2.1 本地部署教程 – 8G 顯存可文生視頻 

今天發點適合本地做 AI 視頻...