最好用的AI工具

AI建站搭建服務

搜尋：AI 視頻

30 個結果

分類排序

Synvas – AI 視頻畫布創作工具，支持邊生成、邊剪輯

Synvas是什麼 Synvas 是 AI ...

HelixWorld – Noiz AI 聯合港科大開源的實時交互世界模型

HelixWorld是什麼 HelixWorld 是 Noiz AI 與港科大聯合開源的實時交互式音視頻世界模型。給模型一張起始圖片和文字描述，可通過 WASD 和方向鍵在 AI 生成的世界中行走、轉頭，畫面與立體空間音效同步實時生成，且聲像隨視角自然變化。HelixWorld 基於 LTX-2.3 構建，採用”雙向教師 + 因果蒸餾”訓練，單張 H800 顯卡可實現 768×512 分辨率、24 FPS 的實時生成。配套發佈 HelixBench 基準，專門評估空間聲學一致性。 HelixWorld的主要功能實時可交互世界生成：輸入起始圖片和文字描述，可在 AI 生成的世界中自由探索。鍵盤/動作操控：WASD 控制移動、方向鍵調整視角，畫面隨操作即時響應。原生音視頻聯合生成：視頻與立體聲音頻同步生成，非後期配音。空間聲學一致性：聲像隨鏡頭轉動自然變化，如左側聲源轉身後面向時聲音方向隨之改變。三軌解耦提示詞：分別用視頻、音頻、音視頻聯合描述控制生成內容。實時流暢體驗：單張 H800 顯卡上達到 768×512 分辨率、24 FPS 實時生成。 HelixWorld的技術原理雙向教師模型預訓練：先訓練一個雙向音視頻擴散模型作爲教師：連續 6-DoF 相機軌跡通過 PRoPE 注入視覺注意力，81 類離散動作經 AdaLN-Zero 調製擴散時間步，跨模態注意力把相機運動傳遞到音頻分支，使聲音自然產生立體聲像變化。因果蒸餾實現實時化：將教師模型蒸餾爲少步因果學生模型：視頻潛變量與音頻 token 分塊處理，塊內雙向注意力、塊間通過 KV cache 因果連接，配合 ODE 初始化使學生能以 4 步完成去噪，滿足實時推理需求。在線軌跡蒸餾抑制漂移：針對自迴歸長程生成的誤差累積問題，訓練時用教師 Probability Flow ODE 的終點爲目標監督學生速度場，與分佈匹配損失（DMD）隨機交替使用，兼顧生成多樣性與長程穩定性。長程流式微調：通過滑窗 KV cache 逐段展開長序列訓練，保留 sink 幀錨點、歷史梯度截斷，配合約一分鐘的長序列微調，進一步減少長時間生成中的畫面漂移與聲音退化。微信關注回覆“開源”，加入AI開源項目交流羣如何使用HelixWorld 方式一：在線體驗打開官網 https://helixworld.org，選擇示例圖片或上傳自己的圖片。填寫場景的文字描述。進入世界後用 WASD 移動、方向鍵轉動視角，實時探索生成內容。運行過程中還可隨時修改提示詞，調整後續生成的場景。方式二：本地部署環境準備：Linux 系統、Python 3.11、CUDA 12.x、NVIDIA 顯卡（建議 80GB 顯存）、ffmpeg 和 ffprobe。下載項目並安裝依賴：git clone https://github.com/NoizAI/HelixWorld.git，創建 conda 環境後 pip install -r requirements.txt。運行 python download_models.py 下載模型權重。準備一張起始圖片，通過 ./run.sh 指定圖片、畫面/聲音/聯合提示詞、動作序列等參數，生成 MP4 輸出到 outputs 目錄。 HelixWorld的核心優勢首個開源實時交互式音視頻世界模型：畫面與空間立體聲在用戶操控下聯合實時生成，代碼和權重完全開放。真正的”轉頭即變聲”：聲像嚴格跟隨視角轉動，空間一致性得分數倍於同類。單卡即可實時：單張 H800 實現 24 FPS、RTF 0.77 實時生成，速度是同類的 2.5 倍以上。長程生成不漂移：在線軌跡蒸餾 + 長程微調，30 秒以上連續生成畫面聲音依然穩定，且多樣性不降反升。音頻質量全面領先：HelixBench 核心指標全面最優，用戶盲測帶音頻場景下以 67.9% 偏好率碾壓對手。 HelixWorld的項目地址項目官網：https://helixworld.org/ GitHub倉庫：https://github.com/NoizAI/HelixWorld arXiv技術論文：https://arxiv.org/pdf/2609.38123 HelixWorld的應用場景沉浸式遊戲原型：無需建模和引擎，輸入圖片即可生成可行走探索的開放世界，大幅縮短遊戲 Demo 開發週期。 VR/AR 虛擬空間：第一人稱視角 + 空間音頻的組合天然適配頭顯設備，可快速生成虛擬展廳、數字孿生環境。影視與廣告預演：導演上傳概念圖即可”走進”場景試聽音畫效果，在實拍前低成本驗證鏡頭語言和氛圍設計。 AI 視頻通話/虛擬主播背景：根據語音