搜尋:文生視頻
4 個結果
FLUX 3 Max – fal 與 Black Forest Labs 推出的視頻生成模型
FLUX 3 Max是什麼 FLUX 3 Max 是 fal Research 與 Black Forest Labs 聯合推出的後訓練視頻模型,支持文生視頻、圖生視頻與關鍵幀插值,可生成5–20秒、720p/1080p、帶原生音頻的視頻。FLUX 3 Max 主打極致速度,10秒成片約12秒生成,官方稱同畫質下比 Seedance 2.5 快22倍。 FLUX 3 Max的主要功能 文生視頻:一句話提示詞可生成 5–20 秒的完整視頻片段。 圖生視頻:輸入參考圖作爲起始幀,可選指定結束幀,實現首尾幀之間的受控生成。 音畫同步:原生生成配套音頻與人物口型對話,無需後期配音合成。 Draft 草稿模式:極低成本快速出預覽稿,確認後同提示詞一鍵渲染爲全質量成片。 極致速度:10 秒視頻約 12 秒生成,官方稱同畫質下比 Seedance 2.5 快 22 倍。 靈活輸出:720p/1080p 兩檔分辨率,通過 fal 等平台統一 API 調用。 FLUX 3 Max的技術原理 多模態統一底座:FLUX 3 Max 基於 Black Forest Labs 的 FLUX 3 基礎模型,後者將多模態生成與理解整合在同一底層架構中,圖像、視頻、音頻、文本共享一套表示空間,各模態能力互相增強。 Self-Flow 對齊方法:相比傳統 Flow Matching,Self-Flow 在各模態上的生成誤差更低,且經微調後在四組操控任務上的成功率更高,更易被精確控制。 後訓練效率特化:”Max”版本是 fal Research 與 BFL 在 FLUX 3 底座上做的後訓練版本,目標是推理效率:通過蒸餾等手段大幅減少採樣步數與計算開銷,在畫質基本無損的前提下把延遲壓低。 生態化推理部署:經 fal 統一 API 輸出,同時接入 Comfy、OpenRouter、Runware、HeyGen 等 17 家平台,配合 Draft 模式的先草稿後精修工作流,把創作端的試錯成本一併壓低。 如何使用FLUX 3 Max 打開入口:訪問 fal 官網,註冊或登錄賬號,或 Black Forest Labs 官網 https://bfl.ai/。 選擇模式:選文生視頻(純提示詞)、圖生視頻(上傳起始幀圖)或關鍵幀插值(首尾幀)。 輸入素材:文生視頻填寫提示詞,圖生視頻上傳圖片,可選配結束幀控制鏡頭走向。 設置參數:設定時長(5–20 秒)、分辨率(720p/1080p)及是否同步生成音頻。 先試草稿:用 Draft 模式跑一版低成本預覽,確認構圖和動作滿意後再渲染全質量成片。 API 接入:生產環境通過 fal 統一 API 調用(文檔見 fal.ai/docs),可走 Comfy、OpenRouter、Runware 等第三方接入。 FLUX 3 Max的核心優勢 質量第一梯隊:在獨立第三方 Artificial Analysis 圖生視頻榜單上並列第一(Elo 約 1138 分)。 價格最低檔:號稱同質量級別最便宜的前沿視頻模型。 音畫一體:原生同步生成音頻與口型對話,無需後期配音。 Draft 模式省成本:先低成本出預覽稿,確認後再渲染全質量,試錯費用大幅壓縮。 輸入靈活:支持文生視頻、圖生視頻、首尾關鍵幀插值三種工作流。 FLUX 3 Max的項目官網 項目地址:https://bfl.ai/models/flux-3-video#flux-3-max FLUX 3 Max的同類競品對比 對比維度 FLUX 3 Max MiniMax H3 產品定位 前沿模型的速度特化版,主打”最快” 通用音畫生成旗艦,主打”最全” 生成時長 5–20 秒 4–15 秒 分辨率 720p / 1080p 直出 768p 直出,2K 需二次再生 音頻能力 原生音頻 + 人物對話 原生 32kHz 立體聲 + 口型同步 生成速度 10 秒視頻約 12 秒生成 標準隊列速度(快版需選 H3 Max 變體) 榜單表現 圖生視頻並列第一(約 1138 Elo) 圖生視頻約 1140 Elo,略壓一頭 參考輸入 圖片、首尾關鍵幀 多模態參考:最多 9 圖 + 3 視頻 + 3 音頻 開放權重 否,僅 API 是,H3-Base 已上傳 Hugging Face FLUX 3 Max的應用場景 電商與虛擬試穿:上傳商品圖或模特圖生成動態展示視頻,替代傳統拍攝做詳情頁和廣告素材。 廣告與品牌營銷:Logo 動態演繹、產品質感鏡頭一鍵生成,品牌方無需傳統制作週期即可上新 campaign。 影視分鏡與預演:劇本文字直接轉動態分鏡,導演

DMAD – 字節聯合德州農工開源的擴散模型少步蒸餾技術
DMAD是什麼 DMAD(Distribution Matching as Adversarial Distillation)是字節跳動與德州農工大學聯合開源的少步蒸餾框架,用於加速擴散模型生成。DMAD訓練二分類判別器直接學習目標分佈與學生分佈的差異,省去輔助擴散模型,將50步教師模型蒸餾爲4步學生模型。已支持ImageNet、SDXL、Wan2.1及MiniMax-H3-33B,8GB顯存可生成約5秒1344×768有聲視頻。 DMAD的主要功能 少步圖像生成:將 ImageNet-64 的 EDM 模型蒸餾至 1 步採樣,FID 低至 1.04,SDXL 僅需 4 步可文生圖。 少步文生視頻:把 Wan2.1-T2V-14B 蒸餾爲 4 步學生模型,VBench 達 85.15。 聯合音視頻生成:將 MiniMax-H3-33B 的 50 步教師模型蒸餾爲 4 步,輸出 1344×768 視頻與 32kHz 原生立體聲音頻。 消費級硬件支持:提供 8GB 顯存 ComfyUI 工作流與低顯存命令行推理,8GB 顯卡可生成約 5 秒、12GB 約 15 秒有聲視頻。 訓練與推理全開源:發佈蒸餾方法、訓練代碼、推理腳本及多模型 LoRA 權重,覆蓋命令行與 ComfyUI 兩種使用方式。 DMAD的技術原理 分佈匹配即對抗蒸餾:DMAD 爲訓練二分類判別器區分目標樣本與學生樣本,最優判別器的 logit 等於兩分佈的對數密度比,對其輸入求梯度即得 score 差,直接給出學生的修正方向,省掉輔助 score 擬合模型。 共享骨幹、雙頭判別器:判別器採用單一共享特徵骨幹、兩個判別頭,教師頭區分教師樣本與學生樣本,真實數據頭區分真實樣本與學生樣本,均用二元交叉熵訓練;學生用兩個 logit 的加權線性損失更新,更新時凍結判別器參數但保留梯度回傳。 噪聲區間動態加權:教師樣本與真實數據的分佈差異隨噪聲水平變化,DMAD 用真實數據頭在兩類樣本上的平均 logit 差作爲經驗信號,以 0.99 衰減的指數移動平均追蹤各噪聲區間,差距小的區間獲得更高教師權重,歸一化後參與學生損失。 離線教師樣本加速訓練:教師只提供預生成並緩存的樣本,訓練時無需在線調用教師。4 卡 H200、MiniMax-H3 rank-128 LoRA 配置下,每次學生更新及關聯判別器更新耗時從 818.1 秒降至 233.3 秒,實現約 3.51 倍訓練加速。 微信關注回覆“開源”,加入AI開源項目交流羣 如何使用DMAD 克隆倉庫:git clone https://github.com/Yzmblog/DMAD.git 並進入項目目錄。 創建環境:用 conda 創建 Python 3.12 環境並激活。 安裝依賴:按官方固定版本安裝 PyTorch 2.11.0(cu126)、torchvision、torchaudio,再執行 pip install -r requirements.txt 和 pip install -U modelscope-hub。 準備硬件:確保有支持 CUDA 的 NVIDIA 顯卡,並預留約 64GB 系統內存與 170GB 磁盤空間。 下載基礎模型:通過 modelscope download MiniMax/MiniMax-H3 下載 MiniMax-H3 基礎模型。 下載蒸餾權重:從魔搭下載 DMAD 的 4 步 LoRA。 命令行推理:運行 inference.py,指定模型路徑、LoRA、提示詞文件、--steps 4、--height 768 --width 1344,按顯存選擇 --low-vram 8或 --low-vram 12。 查看輸出:輸出目錄包含 0000.mp4、提示詞 txt 和 settings.json,跑通後可替換爲自己的提示詞文件。 DMAD的核心優勢 推理大幅提速:將 50 步教師模型蒸餾爲 4 步學生模型,去噪迭代減少 92% 以上,同時保持接近教師的生成質量。 訓練效率更高:判別器直接學習分佈差異,省去輔助擴散模型,4 卡 H200 上訓練更新加速約 3.51 倍。 生成質量領先:ImageNet-64 一步生成 FID 達 1.04,優於 DMD2、SiDA 等方法;人類評估中對 DMD2 總體偏好率 79.1%、對 rCM 達 84.6%。 覆蓋多模態全場景:同一框架統一支持圖像、文生視頻和聯合音視頻生成。 DMAD的項目地址 項目官網:https://yzmblog.github.io/projects/DMAD/ GitHub倉庫:https://github.com/Yzmblog/DMAD Huggin

阿里 Wan2.1 本地部署教程 – 8G 顯存可文生視頻
今天發點適合本地做 AI 視頻...

FancyVideo – 360推出的AI文生視頻模型
FancyVideo是什麼 FancyVideo...
