HiDream-O1-Video-1.0 – 智象未來推出的全模態視頻生成模型

AI工具1天前發佈新公告 AI管理員
0 0

HiDream-O1-Video-1.0是什麼

HiDream-O1-Video-1.0(簡稱HD-V1)是智象未來(HiDream.ai)推出的原生全模態視頻生成模型,支持文本、圖片、視頻等多模態輸入,可一鍵直出5–20秒1080p視頻。模型在物理規律導向生成與音畫原生一體化,在Artificial Analysis圖生視頻榜(With Audio)排名全球第四、Arena.ai盲測榜第八,標誌中國AI視頻進入全球第一梯隊。

HiDream-O1-Video-1.0 – 智象未來推出的全模態視頻生成模型

HiDream-O1-Video-1.0的主要功能

  • 多模態輸入:支持文本、圖片、視頻等多種模態作爲生成條件。
  • 高保真視頻直出:一鍵生成5–20秒1080p高畫質視頻。
  • 意圖理解:前置多模態理解模塊,將口語化輸入結構化規劃爲鏡頭、角色、動作、音效等專業方案。
  • 物理規律生成:重力、碰撞、慣性等物理規律被寫入生成邏輯,畫面形變與運動貼合真實世界。
  • 智能時長規劃:根據事件邏輯與敘事節奏自動決定視頻時長,而非機械填充固定窗口。
  • 音畫一體化:文本、視頻、音頻信號聯合建模,實現口型、音效與畫面的原生同步。
  • 敘事與人物一致性:採用先規劃、後聯合生成、再Reward對齊流程,保證長鏡頭敘事連貫、人物不漂移。

HiDream-O1-Video-1.0的技術原理

  • 原生全模態統一架構:HD-V1 採用智象自研的原生全模態架構,在架構設計之初即面向文本、視頻與音頻的統一表徵,三者在同一生成過程中聯合建模、相互約束與對齊,畫面運動牽引聲音節奏,台詞音效反哺鏡頭情緒,文本條件貫穿始終。
  • 前置多模態意圖理解模塊:模型首先藉助多模態理解模型對用戶輸入進行深度理解與結構化規劃,將口語化、模糊化的自然語言轉換爲鏡頭時長、場景地點、在場角色、動作表情、景別構圖、運鏡焦段、台詞與背景聲等專業字段。理解越深則規劃越穩,規劃越穩則後續聯合生成越不容易跑偏,從源頭避免意圖漏解、鏡頭跳戲和人物漂移。
  • 物理規律內生的生成邏輯:物體受重力如何下落、碰撞如何反饋、慣性如何延續、光影如何衰減、空間如何保持連續。
  • 規劃—生成—對齊的三段式生成流程:智象提出先規劃、後聯合生成、再以多模態Reward對齊的技術思路:模型先在全局層面規劃敘事與角色狀態,聯合生成中約束畫面、動作與語義,用多模態獎勵信號對畫質、連貫性與物理合理性進行統一對齊,保證長鏡頭中人物、情緒、動機互相影響下的整體自洽。

如何使用HiDream-O1-Video-1.0

  • 確認開放狀態:目前模型處於內測階段,尚未全面公開上線,需申請提前體驗資格https://n1y46cmwsp.feishu.cn/share/base/form/shrcnVBeO99NQQWARxNirglcbct。
  • 掃碼填寫申請表:長按掃描二維碼,進入申請表頁面。
  • 提交申請信息:按表單要求填寫個人/企業信息及使用需求,提交後等待官方審覈。
  • 等待開通通知:審覈通過後將獲得內測體驗資格。
  • 體驗模型能力:獲得資格後,可通過官方提供的入口輸入文本、圖片或視頻,一鍵生成5–20秒1080p音畫一體視頻。

HiDream-O1-Video-1.0的核心優勢

  • 原生全模態架構:業內首個對文本、視頻、音頻信號聯合建模的視頻模型,音畫原生一體化生成。
  • 物理規律導向生成:重力、碰撞、慣性、光影衰減、空間連續性等物理規律被模型真正理解並寫入生成邏輯,畫面形變、運動反饋、擬音效果均貼合真實因果。
  • 深度意圖理解:前置多模態意圖理解模塊,將口語化、碎片化的用戶輸入結構化規劃爲鏡頭時長、景別構圖、運鏡、動作表情、台詞音效等專業方案,從源頭避免意圖漏解和鏡頭跳戲。
  • 時長服從敘事:打破”固定時長窗口填充內容”的傳統邏輯,由模型根據事件發展邏輯和敘事節奏自主規劃時長,避免動作完成後的無意義等待或慢放湊數。
  • 敘事連貫與人物一致:採用先規劃、後聯合生成、再以多模態Reward對”的技術路徑,配合Diffusion RL和人工認知對齊的Reward模型,保證連續鏡頭中人物、情緒、動機自洽不漂移。

HiDream-O1-Video-1.0的同類競品對比

對比維度 HiDream-O1-Video-1.0(智象未來) Google Veo 3.1(DeepMind)
原生音畫同步 ✅ 文本/視頻/音頻聯合建模,原生一體化 ✅ 同步生成對白、音效、環境音,誤差<0.1秒
生成時長 5–20秒,時長由內容自主規劃 單段4–8秒,經延展最長148秒
輸出規格 1080p 720p/1080p,企業版4K超分
物理規律 ⭐ 核心賣點:物理規律寫入生成邏輯(重力/碰撞/慣性/光影) 物理模擬較強,但非架構級核心敘事
意圖理解 ⭐ 前置多模態意圖模塊,結構化規劃鏡頭/音效等字段 依賴Gemini提示詞理解,控制項較少,無鏡頭控制系統
多模態輸入 文本、圖片、視頻 文本、最多3張參考圖、視頻擴展
榜單成績 Artificial Analysis圖生視頻(With Audio)全球第四;Arena.ai盲測第八 Artificial Analysis文生視頻ELO約1098

HiDream-O1-Video-1.0的應用場景

  • 廣告與營銷短片:音畫一體直出1080p產品視頻,省去後期配音成本,物理真實的材質表現適配高質感商品展示。
  • 短視頻/社媒內容創作:5–20秒自適應時長天然匹配短視頻節奏,口語化提示詞即可生成帶音效、口型同步的成片。
  • 影視預演與分鏡(Previs):結構化規劃鏡頭、景別、運鏡和音效,幫助導演在拍攝前快速驗證敘事節奏和畫面可行性。
  • 電商產品動態展示:輸入商品圖即可生成使用場景視頻,物體物理運動真實,擬音同步提升轉化率。
  • 教育與科普內容:將碎片化知識點轉化爲物理規律準確的動態演示,音畫同步降低理解門檻。
© 版權聲明

相關文章

暫無評論

暫無評論...