MiniMax Music 3.0 – MiniMax 開源的音樂生成模型

MiniMax Music 3.0是什麼

MiniMax Music 3.0 是 MiniMax推出的下一代開放權重音樂生成模型。模型採用 8B Global LLM與 0.6B Local LLM 的分層架構，結合 Flow Matching + Flow-VAE 連續隱狀態合成技術，可根據歌詞和結構化音樂描述生成最長 5 分鐘、32kHz 立體聲的完整歌曲。模型支持精細的段落控制，能在長音頻中保持主題、節奏與歌聲身份的一致性，實現從創作意圖到高保真成品的端到端生成。

MiniMax Music 3.0的主要功能

• 完整歌麴生成：支持生成最長 5 分鐘的完整歌曲，涵蓋前奏、主歌、副歌、橋段、尾奏等標準結構。
• 歌詞驅動創作：輸入歌詞與音樂風格描述，即可生成包含人聲演唱、器樂編曲的完整作品。
• 結構化段落控制：支持 [Verse]、[Chorus]、[Bridge] 等標籤，精確控制歌曲各段落的情緒與編曲變化。
• 長程一致性保持：在長達數分鐘的音頻中穩定維持音樂主題、節奏、歌聲身份與編曲推進。
• 高保真音頻輸出：生成 32kHz、16-bit 立體聲 WAV 文件，音質接近專業錄音室水準。
• 提示詞自動增強：內置 music-caption-rewriter 工具，可將簡短描述擴展爲包含全局元數據、人聲細節與編曲規劃的專業結構化提示。

MiniMax Music 3.0的技術原理

• 分層自迴歸架構（Hybrid-LM）：模型由 8B Global LLM 與 0.6B Local LLM 協同工作。Global LLM 基於 Qwen3 初始化，逐幀預測首個 RVQ 語義碼本，負責建模歌曲的長程結構與語義；Local LLM 則在每幀內預測其餘聲學碼本，恢復細粒度音色與音質。兩者通過聯合訓練實現宏觀結構與微觀聲學的高效分離與協作。
• 多層殘差向量量化（RVQ）：採用 8 層 RVQ 對音樂信息進行分層表徵。首層語義碼本含 16,384 個條目，捕捉核心音樂語義與結構；其餘 7 層聲學碼本各含 1,024 個條目，逐級編碼殘差聲學細節。訓練時先獨立優化語義碼本建立穩定骨架，再聯合訓練全部碼本，以平衡語義容量、生成穩定性與細節重建。
• 連續隱狀態合成：推理融合 Global 與 Local LLM 的最終連續隱狀態，作爲條件輸入 2.4B Flow Matching 模塊映射至 VAE 潛空間，再由 123M Flow-VAE 解碼爲波形。保留了更豐富的高維聲學信息，顯著提升人聲發音準確度、樂器物理真實感與長時一致性。
• 結構化描述框架：引入精細時粒度的結構化描述體系，將單一全局標籤擴展爲包含 Global Metadata（流派、BPM、調性）、Vocal Details（音色、唱法、和聲）與 Arrangement（樂器演進、段落變化）的三段式描述，使主觀創作意圖轉化爲模型可執行的專業編曲指令。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用MiniMax Music 3.0

• 環境準備：確保本地擁有兩張支持 CUDA 的 NVIDIA GPU，配置好 Python 環境以及 SGLang-Omni 推理框架的依賴。
• 下載模型：執行 hf download MiniMaxAI/MiniMax-Music3 --local-dir /path/to/minimax_ttm 命令，從 HuggingFace 拉取完整的模型權重到本地目錄。
• 啓動服務：運行 sgl-omni serve --model-path MiniMaxAI/MiniMax-Music3 --port 8000 啓動推理服務，其中 GPU 0 負責 Qwen3 與八層 RVQ 自迴歸生成，GPU 1 負責 Flow Matching 與 Flow-VAE 波形解碼。
• 準備輸入：在 API 請求的 input 字段中填入帶段落標籤（如 [Verse]、[Chorus]）的歌詞，在 instructions 字段中填入音樂風格、情緒與編曲描述，兩者共同作爲生成條件。
• 發送請求：向 http://127.0.0.1:8000/v1/audio/speech 發送 POST 請求，設置 model 爲 minimax_ttm、response_format 爲 wav、max_new_tokens 爲 9000，即可返回生成的 32kHz 立體聲 WAV 音頻。
• 提示增強（可選）：安裝並調用 music-caption-rewriter skill，將簡短的音樂描述自動擴展爲包含全局元數據、人聲細節與段落編曲的結構化提示，以提升生成精度與可控性。

MiniMax Music 3.0的核心優勢

• 完整長麴生成：原生支持最長 5 分鐘完整歌麴生成，在長音頻中穩定保持音樂主題、節奏、歌聲身份與編曲推進的一致性，實現真正的”一首完整歌”。
• 精準理解創作意圖：通過結構化描述框架（Structured Caption）將主觀創意轉化爲可執行的專業編曲指令，避免生成內容偏離原始需求，並配備提示增強工具降低專業門檻。
• 高保真音頻渲染：採用連續隱狀態合成（融合 LLM 隱狀態 → Flow Matching → Flow-VAE），而非傳統離散 token 解碼，輸出 32kHz 立體聲，樂器物理真實感更強、混音更通透。
• 精細可控的編曲：支持歌詞段落標籤與三段式結構化描述（全局元數據、人聲細節、段落編曲），可對情緒演進、樂器進出、人聲技法進行精確時序控制。
• 自然的人聲表現：顯著減少高頻數字僞影，改善發音準確度、呼吸感與和聲層次，使生成的人聲更接近真實演唱而非合成效果。

MiniMax Music 3.0的項目地址

• 項目官網：https://www.minimax.io/blog/minimax-music-3-0-next-generation-open-weights-production-ready-versatile-music-model
• GitHub倉庫：https://github.com/MiniMax-AI/MiniMax-Music3

MiniMax Music 3.0的同類競品對比

MiniMax Music 3.0的應用場景

• 獨立音樂人快速 Demo 製作：音樂人輸入原創歌詞與風格描述，可在數分鐘內生成包含人聲與編曲的完整 Demo，大幅降低創作前期的試錯成本。
• 短視頻與播客定製化配樂：內容創作者根據視頻情緒曲線生成主題曲或背景音樂，實現從”找版權音樂”到”定製專屬音樂”的轉變。
• 遊戲與互動娛樂動態配樂：開發者將模型接入遊戲引擎，根據玩家實時行爲動態生成適配場景氛圍的長時音樂，增強沉浸感。
• 廣告與品牌營銷音頻內容：廣告團隊依據品牌調性描述快速產出多版本廣告歌與 Jingle，支持 A/B 測試並避免版權糾紛。
• 音樂教育與創作教學輔助：教師用模型演示不同流派、結構與編曲技法的實際效果，學生通過調整結構化描述直觀理解音樂製作原理。