HappyOyster – 阿里推出的開放式世界模型產品

AI工具1天前發佈新公告 AI管理員
0 0

HappyOyster是什麼

HappyOyster是阿里ATH創新事業部推出的開放式世界模型產品,定位爲可實時構建與交互的AI生成式體驗平台。產品基於世界模型技術,支持無限延展的實時內容生成,官網開放了兩種玩法Directing與Wandering,讓用戶與AI生成的動態世界進行交互。目前平台處於Beta內測階段,訪問官網可加入候補名單。

HappyOyster – 阿里推出的開放式世界模型產品

HappyOyster的主要功能

  • Directing模式:
    • 支持用戶在無限生成的視頻流中將創意轉化爲現實,隨時介入控制。
    • 支持文本、語音或圖像指令實時切換鏡頭角度、指導角色動作或改變劇情走向。
    • 生成的不僅是影像片段,而是具備連續物理規律的運行中世界,光照、重力、角色動作保持時序一致性。
  • Wandering模式:
    • 讓用戶通過單行文本或單張圖片生成完整的可交互物理世界。
    • 支持第一人稱視角自由移動,物體位置保持穩定,環境持續存在,視角與光照隨移動連續響應。
    • 用戶可超越原始畫面邊界探索,世界持續生成且保持連貫性。

如何使用HappyOyster

  • 申請內測資格:訪問HappyOyster官網 https://www.happyoyster.cn/點擊”Try Now”按鈕,填寫Waitlist申請表單加入內測候選名單。
  • 選擇創作模式:獲得資格後,根據創作需求選擇Directing(導演)或Wandering(漫遊)模式進入創作界面。
  • Directing實時導演:輸入多模態提示啓動生成後,在視頻流播放過程中持續通過文本、語音或圖像下達實時指令,隨時切換鏡頭角度、調整角色動作或改變劇情走向。
  • Wandering自由探索:通過鍵盤WASD控制移動方向,配合鼠標調整相機視角,在第一人稱視角下自由探索無限延展的虛擬世界,場景將隨移動持續生成並保持連貫。

HappyOyster的關鍵信息和使用要求

  • 基礎信息:開發團隊爲阿里巴巴-ATH創新事業部,產品目前處於Beta內測階段,採用Waitlist申請機制逐步開放體驗名額。
  • Directing模式限制:支持生成長達3分鐘的連續視頻內容,提供480p和720p兩種分辨率選項。用戶可通過實時文本、語音或圖像指令與生成過程進行交互,系統同步輸出音頻與視頻內容。
  • Wandering模式限制:支持生成最長1分鐘的連續場景,輸出分辨率爲480p。用戶通過WASD鍵盤配合相機視角控制進行第一人稱探索,同樣支持多模態輸入與音視頻輸出。
  • 通用要求
    • 兩種模式均支持文本、圖像等多模態輸入方式,生成內容均包含同步音頻與視頻。
    • 使用需先通過官網申請加入Waitlist,獲得內測資格後方可體驗完整功能。

HappyOyster的核心優勢

  • 實時流式交互:突破傳統AI視頻”提示-等待-成品”的單次生成流程,在內容生成過程中持續傾聽,即時響應用戶指令,實現真正的實時創作對話。
  • 原生多模態架構:基於端到端多模態設計,支持文本、語音、圖像輸入與音視頻聯合生成,在視覺內容輸出的同時同步生成環境音效與配樂。
  • 物理連貫性保障:生成的是具備連續物理規律的運行中世界,確保光照、重力、角色運動及因果關係在時序上保持長期一致性。
  • 雙模態體驗設計:獨創Directing導演模式(實時介入控制)與Wandering漫遊模式(第一人稱自由探索),覆蓋從專業影視製作到沉浸式遊戲體驗的多元創作需求。
  • 開放式無限生成:支持場景無限延展與持續演化,用戶可在不中斷生成的情況下突破原始畫面邊界,探索無限制的虛擬空間。
  • 即時沉浸操控:Wandering模式提供WASD鍵盤與相機控制的第一人稱視角,讓用戶真正”進入”場景內部而非僅作外部觀察者。

HappyOyster的同類競品對比

對比維度 HappyOyster Google Genie 2 Marble
技術路線 原生多模態世界模型,音視頻聯合生成 基於交互視頻訓練的生成式環境 空間智能模型,側重3D場景理解
交互方式 實時持續交互(Directing)+ 第一人稱漫遊(Wandering) 主要支持鍵盤鼠標交互控制 瀏覽器內3D場景交互
生成時長 最長3分鐘(Directing) 未公開明確時長限制 側重單場景非連續生成
輸入模態 文本、語音、圖像多模態實時輸入 主要圖像/文本提示 單張圖像生成3D場景
輸出特性 音頻+視頻同步生成,物理連貫性 可交互虛擬環境 可交互3D場景
物理一致性 強調光照、重力、因果時序連續性 基礎物理交互模擬 空間幾何一致性

HappyOyster的應用場景

  • 實時故事板生成:創作者可通過自然語言即時生成分鏡畫面,快速完成前期視覺確認與團隊溝通。
  • 概念驗證影片:在實際拍攝前快速驗證視覺風格、敘事節奏與鏡頭語言,有效降低製作試錯成本。
  • 短視頻內容生產:支持實時導演場景並即時調整畫面細節,顯著縮短社交媒體內容的製作週期。
  • 互動短劇創作:支持觀衆選擇驅動劇情分支發展,實現每次觀看體驗都獨特的個性化敘事模式。
  • 品牌敘事體驗:構建用戶深度參與的品牌故事場景,通過沉浸式交互建立情感連接與品牌記憶。
© 版權聲明

相關文章

暫無評論

暫無評論...