LingBot-World 2.0 – 螞蟻靈波科技開源的實時交互世界模型

AI工具14小時前發佈新公告 AI管理員
0 0

LingBot-World 2.0是什麼

LingBot-World 2.0 是螞蟻靈波科技開源的實時交互世界模型,能像遊戲一樣被實時遊玩。遊戲支持移動、攻擊、施法、跳躍等操作及雨雪等環境事件,可小時級連續生成畫面不漂移,高配下可達720P/60FPS。目前模型已開源14B及1.3B Small、Bidirectional、Causal Pretrain 四個版本,可用於遊戲、具身智能模擬與交互數據生成。

LingBot-World 2.0 – 螞蟻靈波科技開源的實時交互世界模型

LingBot-World 2.0的主要功能

  • 實時交互探索:模型以 720P / 60FPS、亞秒級延遲實時生成可自由行走、轉視角的開放世界。
  • 多樣化角色動作:支持攻擊、射箭、施法、射擊、跳躍、滑翔等豐富操作。
  • 環境事件驅動:可響應下雪、下雨等文本驅動的動態世界事件。
  • 小時級長時程生成:長時間遊玩畫面保持一致,不漂移、不崩壞。
  • 智能體協作操控:內置”玩家 Agent + 導演 Agent”,分別負責角色行爲規劃與場景元素合成。
  • 多人共享世界:支持多人同時沉浸於同一生成世界,協作塑造場景。
  • 具身智能模擬:從遊戲世界延伸到機器人模擬、未來狀態預測與交互數據生成。
  • 輕量化本地部署:1.3B Small 版可在消費級單卡 GPU 上實時運行。

LingBot-World 2.0的技術原理

  • 因果預訓練範式:通過精心設計的因果預訓練(Causal Pretrain)達成無上限的交互時程,同時維持輸出質量長期一致,這是長時程不漂移的核心。
  • 實時蒸餾:從基座模型蒸餾出實時變體(Bidirectional 模型作爲高質量蒸餾源),保證推理速度足以驅動 720P/60FPS 視頻流。
  • 動作條件視覺動力學:從第一人稱、合成及網絡海量視頻中學習”動作-畫面”條件動態,使模型能將操作和事件忠實落地爲視覺變化。
  • 雙智能體架構:首創 Agentic Harness——Pilot Agent 規劃執行角色行爲,Director Agent 隨場景推進合成新環境元素,實現 Agent 驅動與用戶干預的結合。
  • 大小模型協同:14B 主模型搭配 1.3B 輕量模型,兼顧效果與單卡可部署性,降低研究復現門檻。
LingBot-World 2.0 – 螞蟻靈波科技開源的實時交互世界模型
微信關注回覆“開源”,加入AI開源項目交流羣

如何使用LingBot-World 2.0

  • 無限交互時程:因果預訓練範式讓模型可小時級連續生成且畫面長期不漂移,突破傳統視頻模型的時長瓶頸。
  • 實時流暢體驗:蒸餾出的實時變體支持 720P / 60FPS、亞秒級延遲,真正達到”可玩”的交互水準。
  • 交互元素豐富:覆蓋攻擊、射箭、施法、射擊等多樣動作及文本驅動的雨雪等環境事件,互動維度大幅擴展。
  • 首創雙智能體架構:Pilot Agent 負責角色行爲規劃、Director Agent 負責動態合成場景元素,Agent 驅動與用戶干預並行不悖。
  • 多人協作共享:支持多用戶同時進入同一生成世界,一人遊玩、一人導演,改變傳統單機生成模式。
  • 部署門檻低:1.3B Small 版僅需消費級單卡 GPU 即可實時運行,個人開發者也能本地復現。

LingBot-World 2.0的核心優勢

  • 超長時程:因果預訓練支持小時級連續生成,畫面長期不漂移。
  • 實時可玩:蒸餾實時變體實現 720P/60FPS、亞秒級交互延遲。
  • 交互豐富:覆蓋攻擊、射箭、施法、射擊等動作及文本驅動的環境事件。
  • 雙 Agent 架構:Pilot Agent 規劃角色行爲,Director Agent 動態合成場景。
  • 多人協作:支持多用戶共享同一生成世界,一人遊玩一人導演。
  • 低門檻部署:1.3B Small 版消費級單卡 GPU 即可本地實時運行。
  • 場景多元:從遊戲世界延伸到機器人模擬、未來預測與交互數據生成。

LingBot-World 2.0的項目地址

  • 項目官網:https://technology.robbyant.com/lingbot-world-v2
  • GitHub倉庫:https://github.com/robbyant/lingbot-world-v2
  • HuggingFace模型庫:https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast
  • arXiv技術論文:https://arxiv.org/pdf/2607.07534

LingBot-World 2.0的同類競品對比

維度 LingBot-World 2.0(螞蟻靈波) Genie 3 (Google DeepMind)
出品方 螞蟻集團靈波科技(Robbyant) Google DeepMind
實時規格 720P / 60FPS,亞秒級控制延遲 720p / 24fps,實時響應
一致性時長 小時級連續生成不漂移 約 1 分鐘畫面一致性
交互方式 攻擊、射箭、施法、射擊等動作 + 文本事件 + 雙人協作(玩家/導演) 鍵盤/鼠標控制角色移動、交互物體、指令生成物體
多人協作 ✅ 支持多人共享同一生成世界 ❌ 暫不支持
技術路線 因果預訓練 + 實時蒸餾 + Pilot/Director 雙 Agent 架構 自迴歸擴散模型 + 可擴展潛空間(1.5T 參數)
開放程度 完全開源:代碼 + 14B/1.3B 四款權重 + 技術報告 閉源,僅通過 Gemini Ultra 訂閱體驗;Project Genie 已開放遊戲原型測試邀請

LingBot-World 2.0的應用場景

  • AI 遊戲開發:作爲實時生成式遊戲引擎,根據玩家操作動態生成關卡、場景與事件,降低 3A 級內容生產成本。
  • 影視與虛擬拍攝預演:導演用文本指令實時搭建並漫遊虛擬場景,快速預覽鏡頭與氛圍,大幅壓縮前期置景和改稿週期。
  • 具身智能訓練場:爲機器人提供高仿真、可交互的模擬環境,訓練感知、決策與長時程交互能力,減少真機試錯成本。
  • VR/AR 與數字文旅:生成可無限探索的沉浸式虛擬空間,應用於虛擬展覽、文旅導覽和多人協同的元宇宙體驗。
  • 交互式教育與培訓:構建可操作的虛擬實驗、應急演練和歷史場景,學習者在”可玩的世界”中獲得比看視頻更深入的沉浸訓練。
© 版權聲明

相關文章

暫無評論

暫無評論...