AI視頻工具

Vivix

Vivix是什麼 Vivix是專注實時...

標籤:

Vivix是什麼

Vivix是專注實時互動多模態模型的AI創作平台,核心產品包括:Vivix-A1,全球首個實時全雙工模型,可生成有全身動作、能聽、能說、能做的交互式AI角色;Vivix-W1,流式原生多模態模型,可通過語音、文字、觸控實時改變劇情走向的互動敘事引擎及實時視頻運行時Vivix IVI。Vivix自研MJD蒸餾、NVFP4量化與VMI推理引擎,實現近30B參數模型在消費級GPU上實時運行,交互延遲低於1秒,Vivix-A1 已開放API。

Vivix

Vivix的主要功能

  • 全身角色生成:Vivix-A1 可實時生成會行走、轉身、拿取物體、跳舞的全身AI數字人。
  • 全雙工實時交互:用戶可隨時語音打斷,角色的動作、表情與回應即時改變,無需中斷重生成。
  • 音畫同步輸出:語音、表情、手勢、環境聲原生統一建模,無拼接痕跡。
  • 互動敘事生成:Vivix-W1 輸入一句話可生成持續演進的音視頻故事,用戶可實時改變劇情走向。
  • 多模態輸入:支持語音、文字、圖片、點擊、觸控等多種方式參與互動。
  • 直播電商應用:數字主播可自由走動、展示商品,運營人員可實時語音調整直播方向。
  • 超低延遲:首幀延遲小於 0.6 秒,打斷響應 300–900 毫秒,端到端延遲小於 1.7 秒。
  • 消費級硬件實時運行:近 30B 激活參數模型通過 MJD 蒸餾與 NVFP4 量化,可在消費級 GPU 上單卡實時推理,成本低於每小時 1 美元。

如何使用Vivix

  • 註冊獲取 API Key:訪問 Vivix API 開放平台 https://platform.vivix.ai/ ,註冊賬號,在開發者後台創建 API Key,所有請求以 https://api.vivix.ai 爲 base URL 並攜帶 Bearer 認證。
  • 選擇模型:按需求選 A 系列(實時 Avatar 交互或腳本驅動 Avatar 視頻)或 W 系列,如 vivix-a1-stream、vivix-w1-stream 等。
  • 創建會話:通過 REST 接口 POST /v1/realtime-avatar/sessions,配置模式、角色形象圖、音色、人設指令、語音識別(如 server_vad)等參數。
  • 建立實時連接:拿到返回的 session_id 後,通過 WebSocket 控制通道(wss://api.vivix.ai/v1/realtime-avatar/control)操控會話,音畫輸出通過 RTC(TRTC)流傳輸。
  • 驅動交互:把用戶語音或文字寫入對話上下文,Avatar 實時生成回覆並以語音、視頻、逐字字幕流式輸出,支持中途打斷。
  • 實時干預:通過 Streaming Control 接口可在生成中切換圖片/角色、發送動作指令或直接腳本音頻,無需中斷重來。
  • W1 世界玩法:以開放事件(Event)驅動劇情,事件可在生效前取消,會話支持 hold/pause 與 resume,隨時插入新事件改變故事走向。

Vivix的核心優勢

  • 真全雙工交互:突破”半雙工”請求-響應模式,模型在持續生成音視頻的同時能隨時接住新輸入並即時改變內容。
  • 全身角色行動力:A1 是首個支持完整全身動作生成的實時模型,角色能行走、轉身、拿取物體,而不只是固定機位對口型。
  • 原生多模態架構:語音、文字、圖片在統一信號空間中建模,繞開 ASR+LLM+TTS 級聯,感知直接驅動行爲,音畫動作自然同步。
  • 超低延遲:首幀延遲 < 0.6 秒、打斷響應 300–900 毫秒、端到端 < 1.7 秒,交互延遲低於 1 秒。
  • 大參數 + 消費級實時運行:近 30B 激活參數配合 8x8x4 高質量壓縮率,通過 MJD 蒸餾與訓練期 NVFP4 量化,在消費級 GPU 上單卡跑出超 10,000 video tokens/s,推理成本低於每小時 1 美元。
  • 原生可打斷的流式架構:因果生成 + VMI 編解碼解耦設計,新指令直接在解碼鏈路追加,當前生成無需中斷重來。

Vivix的同類競品對比

對比維度 Vivix HeyGen LiveAvatar
技術路線 原生多模態生成模型(近30B激活參數),感知直接驅動生成,非 ASR+LLM+TTS 串聯 拼接式管線:可接入自帶 LLM/TTS(Lite 模式)或用其全家桶(Full 模式),底層是預渲染 Avatar 驅動

角色表現力 全身動作生成:行走、轉身、拿取物體、跳舞,開放世界自主行動 上半身主持人風格爲主,Avatar IV 有全身動作捕捉和微表情,但侷限在固定演播場景

敘事能力 W1 支持實時互動影視:一句話生成故事,用戶隨時改變劇情走向 無此能力,僅單角色對話
首幀延遲 TTFF < 0.6 秒(官方口徑) 中位首幀 < 300 毫秒

打斷能力 原生打斷 300–900ms,動作和回應即時改變 支持打斷處理,但表現爲”切換傾聽動畫+取消當前語音”

實時成本 低於 $1/小時(官方測試口徑) 約 $0.20/分鐘(約 $12/小時,Full 檔),量大可降至 $0.01/分鐘

語言支持 未披露具體語種數 175+ 語言口型同步,數字分身克隆成熟

接入方式 API + WebSocket 控制 + RTC 流(A1 已上線,內測制) 純 API,需自行搭建對話棧,Credits 按月過期

Vivix的應用場景

  • 直播電商:數字主播全身出鏡走動、試穿拿取商品,運營人員實時語音調整話術和選品,無需中斷直播。
  • 虛擬伴侶/AI 社交:AI 女友/男友類應用,動作、表情、聲音自然同步,用戶可隨時打斷對話,角色即時應變。
  • 互動影視/互動短劇:輸入一句話生成實時演進的故事,觀衆通過語音、點擊參與劇情決策,開啓”每個人都是導演”的觀劇模式。
  • 遊戲 NPC 與開放世界:賦予遊戲角色自主感知和行動能力,玩家語音即可與 NPC 自然交互,推動開放世界敘事。
  • 智能客服與虛擬導購:7×24 小時在線的全身數字員工,能演示產品、答疑並實時響應客戶需求,可嵌入網站/App/線下大屏。

數據統計

相關導航

暫無評論

暫無評論...