MiniCPM-o 4.5 – 面壁智能開源的全雙工全模態模型

MiniCPM-o 4.5是什麼

MiniCPM-o 4.5 是面壁智能開源的 9B 參數全模態旗艦模型，採用端到端架構融合 SigLip2、Whisper、CosyVoice2 與 Qwen3-8B。作爲行業首個支持「即時自由對話」的模型，模型實現了全雙工交互——能邊看、邊聽、邊說，告別傳統回合制”對講機”模式。模型具備領先的視覺理解、超擬人語音生成及聲音克隆能力，支持主動交互與實時流媒體處理，在端側設備即可運行，已適配昇騰、海光等多種國產芯片，通過 llama.cpp、vLLM 等框架實現高效部署。

MiniCPM-o 4.5的主要功能

• 全雙工實時交互：模型能同時處理視覺、音頻輸入和生成語音輸出，實現邊看、邊聽、邊說的並行感知與表達。
• 主動智能交互：模型以每秒一次的頻率自主監測環境變化，主動判斷何時發言，實現主動提醒、實時評論等類人化的交互行爲。
• 超擬人語音合成：支持情感飽滿、音色自然的端到端語音生成，可基於幾秒音頻樣本克隆定製聲音，且長語音合成保持穩定一致。
• 領先視覺理解：在OpenCompass評測中以9B參數超越GPT-4o和Gemini 2.0 Pro，支持高分辨率圖像解析與高幀率視頻實時理解。
• 端到端文檔解析：在OmniDocBench基準上達到業界最佳水平，能高效處理複雜版式的英文文檔理解與結構化提取任務。

MiniCPM-o 4.5的技術原理

• 端到端全模態架構設計：MiniCPM-o 4.5將SigLip2視覺編碼器、Whisper-medium音頻編碼器、CosyVoice2語音解碼器與Qwen3-8B語言模型通過稠密特徵連接進行端到端聯合訓練，緊密耦合的設計使各模態信息能在模型內部自由流轉，避免傳統流水線架構中的信息損耗與誤差累積，實現更精準的多模態理解與生成控制。
• 全雙工多模態實時流機制：模型將離線的模態編解碼器改造爲支持流式輸入輸出的在線版本，語音解碼器採用文本與語音token交錯建模的方式實現全雙工生成。在推理過程中，時分複用機制將並行的多模態數據流劃分爲毫秒級時間片內的順序信息組，使語言模型主幹能統一調度處理，在單一架構內高效完成實時音視頻流的同步感知與響應。
• 主動交互決策機制：語言模型模塊持續監控輸入的視頻流與音頻流，以1Hz的頻率自動觸發發言決策，高頻決策能力結合全雙工特性，使模型能根據環境動態變化自主選擇最合適的時機與內容進行回覆，突破傳統模型被動等待用戶指令的侷限。
• 可配置語音建模設計：模型延續多模態系統提示詞的設計範式，同時支持文本系統提示詞與音頻系統提示詞的雙重輸入，音頻系統提示詞用於指定目標音色特徵。這種設計使模型在推理階段僅需提供簡短的參考音頻樣本，可完成聲音克隆與角色扮演。

MiniCPM-o 4.5的項目地址

• GitHub倉庫：https://github.com/OpenBMB/MiniCPM-o
• HuggingFace模型庫：https://huggingface.co/openbmb/MiniCPM-o-4_5
• 在線體驗Demo：https://huggingface.co/spaces/openbmb/minicpm-omni

MiniCPM-o 4.5的應用場景

• 智能助手與陪伴：模型作爲全能型AI助手，可實時感知用戶環境與情緒，主動提供提醒、建議或情感陪伴，支持個性化聲音克隆，打造專屬交互體驗。
• 實時視頻交互：適用視頻監控分析、直播實時解說、遠程教學輔導等場景，能同步理解畫面內容與語音指令，即時作出語音反饋。
• 智能客服與導購：在電商、金融、政務等領域提供自然流暢的語音服務，支持多輪對話與主動推薦，提升用戶服務體驗與業務轉化效率。
• 教育與培訓：用於語言學習陪練、虛擬教師、技能培訓等，通過視覺演示與語音講解的結合，實現沉浸式互動教學。
• 內容創作與娛樂：支持有聲讀物生成、虛擬角色配音、遊戲NPC交互等，聲音克隆功能可快速復刻特定人物音色進行角色扮演。