MiDashengLM-Spatial – 小米開源的空間音頻理解大模型

MiDashengLM-Spatial是什麼

MiDashengLM-Spatial是小米Dasheng團隊開源的空間音頻理解大模型，業界首個在單一架構內統一通用音頻理解與空間感知的端到端模型。MiDashengLM-Spatial以MiDashengLM-7B爲基座，新增Spatial-Dasheng編碼器和層級語義到空間條件模塊，可感知聲源方位、運動軌跡及多聲源時空關係，支持重疊聲源逐幀定位。配套1M空間場景與6M條QA訓練數據，Apache 2.0許可發佈，將落地智能家居與汽車座艙。

MiDashengLM-Spatial的主要功能

• 聲源定位：判斷聲音來自左側、右側還是正前方。
• 運動軌跡感知：感知聲源在空間中移動的方向與路徑。
• 羣組時空關係推理：推理多個聲源間的相對空間位置關係，如誰更靠左、是否同側。
• 空間化內容理解：結合”聽到了什麼”與”聲音來自哪裏”回答問題，如判斷哪位說話者先點餐。
• 空間音頻描述：開放式生成場景中所有聲源的位置、運動及時間關係的完整描述。
• 空間語音轉寫：按說話順序轉寫內容，並標註每個說話人的方位。

MiDashengLM-Spatial的技術原理

• 統一雙分支架構：模型以 MiDashengLM-7B 爲基座，擴展出 Spatial-Dasheng 空間音頻編碼器，形成語義支路與空間支路並行的結構，分別負責聽懂內容和感知方位，在單一模型內同時實現通用音頻理解與空間感知。
• Spatial-Dasheng 編碼器：基於雙耳輸入，對重疊聲源進行逐幀檢測與定位，捕捉 ITD/ILD 等雙耳線索，實現聲源方位與運動軌跡的細粒度空間建模。
• 層級語義到空間條件（HSSC）：一種條件機制，將語義支路中間層的表徵逐級傳遞給空間支路的對應層，使空間建模可以藉助語義上下文，同時保持兩支路功能上的獨立分離。
• 可擴展空間場景數據管線：通過仿真構建 100 萬個空間聲學場景，覆蓋環境聲、語音、音樂，並自動生成場景級空間描述與 600 萬條事實驗證 QA 對，支撐空間能力的規模化訓練。
• Sim-to-Real 泛化：合成數據訓練的模型對真實雙耳錄音表現出穩健的空間感知能力，且在獲得空間能力的同時不損失基座的通用音頻理解性能。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用MiDashengLM-Spatial

• 克隆代碼倉庫：git clone https://github.com/xiaomi-research/midashenglm-spatial.git。
• 創建推理環境並安裝依賴：conda create -n midashengspatial python=3.13 -y && conda activate midashengspatial，然後 pip install -r requirements.txt。
• 獲取模型權重：無需單獨下載，代碼會自動從 HuggingFace 拉取 mispeech/midashenglm-spatial。
• 準備雙耳音頻：輸入 (2, T) 雙聲道真實雙耳音頻。
• 加載模型與處理器：用 AutoModelForCausalLM 和 AutoProcessor 以 trust_remote_code=True 加載模型。
• 構造對話消息：按”先音頻後文本”的訓練順序組織 messages，例如音頻 + “Write a general audio caption describing the sound source and its spatial information.”。
• 執行推理：通過 processor.apply_chat_template 處理輸入後調用 model.generate，再 batch_decode 輸出結果。
• 參考示例運行：倉庫中的 example/inference.py 提供可直接運行的完整示例。

MiDashengLM-Spatial的核心優勢

• 業界首創：首個開源的端到端統一音頻-語言模型，在單一架構內同時支持通用音頻理解與空間感知。
• 空間感知能力頂尖：在 STAR-Bench 空間推理子集上準確率達 70.3%，接近人類水平的 73.7%，遠超 Gemini-3.6-Flash 的 47.0%。
• 感知真實可靠：Channel-Swap ACR 達 72.6%，證明其左右方位判斷基於真實聽覺線索。
• 能力無折損：在單聲道音頻問答、語音識別、音頻描述等通用基準上成績與基座 MiDashengLM-7B 基本持平，空間能力不犧牲通用性。
• 重疊聲源解析：Spatial-Dasheng 編碼器支持對重疊聲源進行逐幀檢測與定位，可處理真實場景中多人同時說話等複雜情況。

MiDashengLM-Spatial的項目地址

• 項目官網：https://jinbo-hu.github.io/midashenglm-spatial-demo/
• GitHub倉庫：https://github.com/xiaomi-research/midashenglm-spatial
• HuggingFace模型庫：https://huggingface.co/mispeech/midashenglm-spatial
• arXiv技術論文：https://arxiv.org/pdf/2610.11156

MiDashengLM-Spatial的同類競品對比

MiDashengLM-Spatial的應用場景

• 智能座艙交互：判斷車內哪個座位的乘客在說話，實現分區語音識別與指令執行。
• 智能家居聲學感知：通過音箱/家居設備感知家中聲響的方位與移動。
• AR/VR 空間音頻：爲虛擬世界提供聽覺層面的空間理解，實現聲源定位、空間描述生成與沉浸式交互。
• 助聽與無障礙設備：幫助聽障人士感知聲音來自哪個方向，增強環境感知與出行安全。