HappyOyster 1.0 – 阿里推出的實時生成式開放世界模型系列

AI工具1天前發佈新公告 AI管理員
0 0

HappyOyster 1.0是什麼

HappyOyster 1.0是阿里推出的實時生成式開放世界模型系列,已上架阿里雲百鍊,無需邀測可API調用。模型包含兩款,Adventure可基於文本或圖像生成可自由探索的世界,支持實時移動、鏡頭控制與持續交互;Directing可通過文本指令實時驅動角色、劇情與鏡頭(僅新加坡、美國地域)。模型適用遊戲原型、教育模擬、虛擬導覽等場景。

HappyOyster 1.0 – 阿里推出的實時生成式開放世界模型系列

HappyOyster 1.0的主要功能

  • 開放世界生成:基於文本或圖像輸入,實時生成可自由探索的開放世界場景。
  • 實時交互探索:用戶可實時移動、控制鏡頭,且每一次操作都會影響下一秒生成的世界內容。
  • 場景元素交互:場景中的車輛、動物等不只是畫面元素,可真正上車駕駛、上馬騎乘,進入故事。
  • 動作戰鬥系統:支持出拳、射擊、施法、弓箭等動作玩法,世界會實時反饋命中、格擋與受擊效果。
  • 文本實時導演(Directing):世界生成後,可通過文本指令實時驅動角色、劇情與鏡頭演繹。
  • API 開放接入:無需邀測,開發者可直接通過 API 將能力接入應用。

HappyOyster 1.0的技術原理

  • 世界模擬器範式:學習從”當前狀態/動作”到”下一狀態/動作”的轉移規律,從海量自然視頻中推演”動作→反饋”的因果鏈。
  • 長時序統一建模:在建模初期即引入文本、動作指令、圖像參考等多樣控制信號,在統一的時序框架下協同優化生成質量、長時序穩定性與實時可控性。
  •  類 Genie 架構:採用”時空視頻 Tokenizer + 自迴歸動力學模型 + 隱式動作(Latent Action)模型”三組件架構:視頻壓縮爲離散 token,按時間步自迴歸預測未來幀,並通過隱式動作空間實現”按鍵→畫面變化”的可控交互。
  • 原生多模態與流式生成:本、圖像、音頻在統一基座內流式一體處理,支持音畫同出的聯合生成;生成過程中持續接收用戶指令,畫面實時響應、持續演繹。

如何使用HappyOyster 1.0

  • 訪問體驗平台:訪問阿里雲百鍊官網模型入口。
  • 撰寫 Prompt:定義世界內容——視角(第一/第三人稱)、角色外形、武器裝備、可交互物件及想要的反饋。
  • 調用 API 創建世界:通過阿里雲百鍊,使用 Model ID happyoyster-1.0-adventure 發起世界創建請求(0.05 元/次)。
  • 等待世界就緒:世界創建完成後,服務會返回就緒狀態。
  • 啓動 Travel:調用 Travel 接口開始實時探索,進入生成的世界(0.20 元/秒,480P)。
  • 實時交互:通過位移與鏡頭控制在世界中移動,駕駛、騎乘、戰鬥等操作會實時影響後續生成的畫面。

HappyOyster 1.0的同類競品對比

對比維度 HappyOyster 1.0(阿里) Google Genie 3
核心能力 實時生成可探索開放世界 + 文本導演劇情/角色/鏡頭 實時生成可交互 3D 世界,可操控角色移動
輸入方式 文本或圖像 文本 + 圖像(Nano Banana Pro 生成草稿圖)
交互方式 實時移動、鏡頭控制、文本指令驅動 實時操控 + 自然語言觸發世界事件
音頻生成 ✅ 原生多模態,音畫同出 ❌ 僅視頻,無音頻
導演能力 ✅ 獨立 Directing 模型,文本實時驅動劇情與鏡頭 弱,僅支持提示詞觸發簡單事件
輸出分辨率 480P 720p
物理一致性 持續維護世界狀態,保證長時序因果/物理一致 物理交互較弱(不能拾取、推動物體),探索數分鐘後場景會漂移

HappyOyster 1.0的核心優勢

  • 實時可交互:世界持續生成,用戶每一次操作都會影響下一秒的畫面,實現真正的實時探索。
  • 開放世界能力:基於文本或圖像即可生成可自由行走的開放世界,場景元素(車輛、動物)可真實交互。
  • 長時序一致性:持續維護世界狀態,長時間探索中角色外觀、場景結構保持因果與物理一致。
  • 音畫同步生成:原生多模態架構支持音視頻聯合生成,聲音隨畫面實時產生而非後期配音。
  • 低門檻接入:無需邀測,直接通過阿里雲百鍊 API 即可調用,快速接入應用。
© 版權聲明

相關文章

暫無評論

暫無評論...