EgoSuite-Open100K – 光輪智能開源的全模態人類行爲數據集

EgoSuite-Open100K是什麼

EgoSuite-Open100K 是光輪智能推出的全球首個10萬小時級全模態人類行爲開源數據集，面向物理AI與具身智能。數據集包含15,000+真實場景的第一人稱視頻，覆蓋家居、工業等7大類環境，採用頭部與腕部雙視角採集，配備手部21關節位姿、身體姿態及事件語義三層精細標註。數據集已在Hugging Face和AtomGit免費開放，支持學術與商業用途，能解決機器人訓練中最稀缺的高質量人類行爲數據瓶頸。

EgoSuite-Open100K的主要功能

• 大規模人類行爲採集：提供10萬小時第一人稱真實人類操作視頻，爲物理AI訓練提供充足的行爲先驗數據。
• 雙視角同步記錄：採用頭戴主視角與腕部特寫視角組合，既保證全局動作連貫性，又捕捉手指精細操作細節。
• 三層全模態標註：逐幀標註手部21關節位姿、全身姿態及事件級語義信息，讓模型同時學會”怎麼動”和”爲什麼動”。
• 跨場景泛化覆蓋：涵蓋家居、工業、醫療等7大類環境、128種場景類型，突破現有數據集單一廚房場景的侷限。
• 開源與商業友好：在Hugging Face和AtomGit完全開放，學術研究與商業訓練均可免費使用，打破數據壟斷。
• 統一數據標準：遵循EgoVerse國際數據委員會規範，解決不同設備、團隊間數據格式不兼容的行業痛點。
• 支撐跨具身遷移：數據量達到10萬小時級別，使模型能夠將人類動作泛化到不同形態的機器人本體上。
• 閉環生態底座：與RoboFinals仿真評測和RoboStack真實部署聯動，形成”採集-訓練-評測-反饋”的持續學習基礎設施。

EgoSuite-Open100K的技術原理

• 數據規模與Scaling Law：基於物理AI Scaling Law，數據集規模達到10萬小時人類第一視角視頻，處於跨具身遷移能力湧現的關鍵拐點。
• 雙視角採集架構：採用頭戴主視角與腕部特寫雙視角同步採集，分別捕獲全局動作上下文和手指精細操作細節。
• 全模態對齊標註 對視頻進行全模態對齊標註，包含手部21關節位姿、身體姿態、事件級語義及深度信息，構建多模態訓練信號。
• 標準化數據格式：遵循EgoVerse國際數據標準統一採集格式與標註規範，使不同來源的數據具備跨設備、跨模型複用能力。
• 持續學習閉環：與SimFoundry仿真平台和RoboStack部署系統聯動，形成人類數據預訓練、仿真評測驗證、真實場景反饋迭代的持續學習閉環。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用EgoSuite-Open100K

• 獲取數據：訪問 Hugging Face Hub 或 AtomGit 下載首批開源數據，無需申請即可直接用於學術或商業模型訓練。
• 選擇數據子集：根據任務需求選用 EgoStandard（頭戴主視角）或 EgoPro（腕部特寫視角），分別適用於全身動作學習或精細操作抓取。
• 解析多層標註：利用配套的手部21關節位姿、身體姿態和事件級語義標註，構建多模態輸入信號用於策略模型或VLA模型訓練。
• 接入訓練流程：將數據集作爲預訓練語料輸入機器人策略網絡，利用10萬小時人類行爲先驗提升模型在真實場景中的泛化能力。
• 結合仿真驗證：通過光輪智能 SimFoundry 仿真平台或 RoboFinals 評測系統，對基於該數據集訓練的模型進行低成本、可復現的規模化能力驗證。