Cosmos – 英偉達推出的生成式世界基礎模型平台

AI工具1年前 (2025)發佈新公告 AI管理員

0 0 0

Cosmos是什麼

Cosmos是英偉達推出的生成式世界基礎模型平台，加速物理人工智能（AI）系統的發展，特別是在自動駕駛和機器人領域。Cosmos能接受文本、圖像或視頻的提示，生成高度仿真的虛擬世界狀態，爲自動駕駛和機器人應用提供獨特的視頻輸出。平台集成了生成式世界基礎模型、高級標記器和加速視頻處理管道，幫助開發者生成大量基於物理的合成數據，減少對真實世界數據的依賴。Cosmos還提供了安全防護機制，確保數據的安全與合規。開發者可以通過微調Cosmos模型來創建定製化的AI模型，滿足特定的應用需求。

Cosmos的主要功能

生成虛擬世界狀態：Cosmos能根據文本、圖像或視頻的提示生成高度仿真的虛擬世界狀態，適用於自動駕駛和機器人應用。
生成式模型：平台基於生成式模型快速生成與真實世界場景相似的數據，幫助開發者訓練和評估現有的AI模型。
高級標記器和數據處理：Cosmos集成了高級標記器和加速視頻處理管道，生成的數據在後續的模型訓練中發揮更大的作用。
安全與合規：平台還提供了安全防護機制，確保數據的安全與合規。
開放模型許可：Cosmos將以開放模型許可的形式在Hugging Face和NVIDIA NGC目錄中提供，支持開發者進行定製化應用。

Cosmos的技術原理

生成式世界基礎模型（WFM）：Cosmos使用先進的生成式模型技術，模型包括擴散模型和自迴歸Transformer模型，能生成與真實世界場景高度相似的合成數據。
高級標記器（Cosmos Tokenizer）：該標記器使用複雜的編碼器-解碼器結構，結合3D因果卷積和注意力機制，高效地處理時空信息。能將圖像和視頻分解成高壓縮率的高質量標記，爲AI模型提供更高效的視覺數據。
加速視頻處理管道（NeMo Curator）：Cosmos集成了一個加速視頻處理管道，能在短時間內處理大量視頻數據。例如，NeMo Curator能在14天內處理2000萬小時的視頻數據。

Cosmos的模型系列

Nano模型

特點：適用於低延遲和實時應用。
參數規模：約40億參數。
應用場景：適合需要快速響應的應用場景，如實時視頻分析和簡單的機器人控制任務。

Super模型

特點：提供高性能基準。
參數規模：約70億參數。
應用場景：適用於需要較高性能和精度的應用，如自動駕駛車輛的環境感知和決策支持，以及複雜機器人任務的模擬和訓練。

Ultra模型

特點：追求最高質量和精確度。
參數規模：約140億參數。
應用場景：適用於對精度和質量要求極高的應用，如高精度的自動駕駛模擬、複雜的工業機器人操作模擬等。

Cosmos的項目地址

項目官網：https://research.nvidia.com/publication/2025-01_cosmos
Github倉庫：https://github.com/NVIDIA/Cosmos
HuggingFace模型庫：https://huggingface.co/collections/nvidia/cosmos
技術論文：https://d1qx31qr3h6wln.cloudfront.net/publications/NVIDIA%20Cosmos

Cosmos的應用場景

駕駛環境模擬：Cosmos能生成各種天氣和路況條件下的合成數據，爲自動駕駛系統的訓練提供豐富的場景。
策略模型優化：通過生成大量逼真的駕駛場景，Cosmos可以幫助自動駕駛系統在模擬環境中進行強化學習，優化決策策略模型，測試在不同場景下的性能。
複雜環境適應性訓練：Cosmos可以爲機器人提供複雜環境的實時模擬，使其感知系統通過合成數據進行訓練。
導航與任務執行：基於Cosmos生成的虛擬世界狀態，機器人可以更好地理解和適應周圍環境，實現更精準的導航和任務執行。
逼真場景生成：Cosmos能生成高度仿真的虛擬世界狀態，適用於虛擬現實遊戲和仿真訓練。例如，開發者可以使用Omniverse創建三維場景，然後通過Cosmos將其轉換爲逼真的場景，使機器人在模擬環境中進行訓練。
工業數字孿生：結合NVIDIA的Omniverse和Cosmos，可以創建工業數字孿生環境，用於工廠和倉庫的模擬、測試和優化。這使得在複雜生產設施和配送中心網絡中，能更好地進行手動設計、操作和優化。

Cosmos的應用案例

Uber自動駕駛開發：Uber作爲首批採用Cosmos的公司之一，基於生成式AI能力，加速了安全、可擴展的自動駕駛解決方案的進程。爲Uber的自動駕駛系統提供了豐富的合成數據，幫助其在不同駕駛場景下進行模型訓練和優化，提升自動駕駛技術的安全性和可靠性。
小鵬汽車模擬訓練：小鵬汽車也採用了Cosmos平台，通過生成各種天氣和路況條件下的合成駕駛數據，對自動駕駛算法進行模擬訓練。例如，在模擬雨雪、霧霾等惡劣天氣下，以及城市道路、高速公路等不同路況的場景中，自動駕駛系統可以學習如何更好地感知環境、做出決策和執行操作，提高算法在真實街景中的表現。
1X機器人動態規劃：1X公司用Cosmos的仿真引擎，爲機器人提供了高保真的力學、運動學和動態交互建模能力。通過閉環模擬，1X機器人可以在虛擬環境中進行動態規劃與環境適應性優化，在實際應用場景中實現更精準的導航和任務執行。

# AI工具