LLaMA-Omni – 中科院推出的低延遲高質量的語音交互模型

1 0 0

LLaMA-Omni是什麼

LLaMA-Omni 是中國科學院計算技術研究所和中國科學院大學研究者推出的新型模型架構，用於實現與大型語言模型（LLM）的低延遲、高質量語音交互。通過集成預訓練的語音編碼器、語音適配器、大型語言模型（LLM）和一個實時語音解碼器，直接從語音指令中快速生成文本和語音響應，省略傳統的必須先將語音轉錄爲文本的步驟，提高了響應速度。模型基於最新的 LLaMA-3.1-8B-Instruct 模型構建，並使用自建的 InstructS2S-200K 數據集進行訓練，快速生成響應，延遲低至 226 毫秒。此外，LLaMA-Omni 的訓練效率高，4 個 GPU 訓練不到 3 天即可完成，爲未來基於最新 LLM 的語音交互模型的高效開發奠定基礎。

LLaMA-Omni的主要功能

低延遲語音識別：快速從語音指令中生成響應，減少等待時間。
直接語音到文本響應：無需先將語音轉錄爲文本，直接生成文本響應。
高質量的語音合成：生成文本響應的同時，能生成對應的語音輸出。
高效的訓練過程：用較少的計算資源（如4個GPU）和較短的時間（不到3天）完成訓練。
流式語音解碼：基於非自迴歸的流式 Transformer 模型，實現實時語音合成。
多模態交互：結合文本和語音兩種模式，提供更自然、更人性化的交互體驗。

LLaMA-Omni的技術原理

語音編碼器（Speech Encoder）：基於預訓練的 Whisper-large-v3 模型作爲語音編碼器。從用戶的語音指令中提取特徵表示。
語音適配器（Speech Adaptor）：將語音編碼器的輸出映射到大型語言模型（LLM）的嵌入空間。通過下采樣減少序列長度，使模型處理語音輸入。
大型語言模型（Large Language Model, LLM）：基於 Llama-3.1-8B-Instruct 作爲 LLM，具有強大的文本生成能力。直接從語音指令生成文本響應，無需中間的語音到文本轉錄步驟。
流式語音解碼器（Streaming Speech Decoder）：採用非自迴歸（NAR）的流式 Transformer 架構。用連接時序分類（CTC）預測與語音響應相對應的離散單元序列。
兩階段訓練策略：第一階段：訓練模型直接從語音指令生成文本響應。第二階段：訓練模型生成語音響應。
數據集構建（InstructS2S-200K）：包含 200K 條語音指令及對應的文本和語音響應。基於訓練模型適應語音交互場景。