盡管人工智能機器人的認知、感知和規(guī)劃層面取得了顯著進展,但讓機器人在物理世界中實現精細手部操控、像人類一樣執(zhí)行復雜的靈巧操作,仍是橫亙在產業(yè)面前的“最后一公里”難題。其核心在于,缺乏能夠精準刻畫人手操作中微力覺、高精度幾何與復雜接觸關系的大規(guī)模高質量數據,以及能夠處理超高維度狀態(tài)與控制復雜度的智能系統(tǒng)。
作為專注于靈巧操作技術的創(chuàng)新企業(yè),靈巧智能深刻認識到,突破這一瓶頸的關鍵在于解決大規(guī)模、高質量、多模態(tài)靈巧操作數據的缺失問題。本次發(fā)布的DexCanvas數據集是靈巧智能踐行“硬件體系持續(xù)演進、算法平臺開源共享、數據基建生態(tài)共建”三維創(chuàng)新框架的重要成果,其核心價值:
1.系統(tǒng)性與精度突破:DexCanvas基于22類人手操作模式,為數據采集和組織提供結構化框架。數據集匯聚超1000小時真人多模態(tài)演示數據與10萬小時物理仿真合成數據,涵蓋亞毫米級位置軌跡和物理一致的接觸力信息,包含4種模態(tài)(RGB、深度、運動捕捉、力/力矩)同步數據。
2.物理真實性保障:采用獨創(chuàng)的物理信息完備的操作軌跡復刻流程,確保手-物交互的幾何接觸與力學特性同時滿足真實物理規(guī)律。提供多維度抓取語義標注,涵蓋力閉合、形閉合等關鍵物理屬性。。
3.泛化與擴展能力:數據源于純人類演示,不依賴特定機器人形態(tài),為跨平臺技能遷移提供通用基礎。提供HuggingFace標準接口、開源數據加載器和使用示例,支持研究者在模仿學習、強化學習、大規(guī)模預訓練等多種范式下的創(chuàng)新應用。
“靈巧智能的使命是讓機器智能勝任物理世界的工作,而解放人類去從事更具創(chuàng)造性的活動?!膘`巧智能具身智能科學家表示,“DexCanvas是我們?yōu)閷崿F這一使命而打造的核心基石。它通過系統(tǒng)化采集和物理增強,將人類長期進化形成的操作模式轉化為機器學習可用的結構化知識?!?/p>
此外,靈巧智能在硬件產品方面也已取得顯著進展。公司旗下DexHand系列靈巧手已實現量產和全球發(fā)售,該產品具有高自由度和多模態(tài)感知能力,為數據集的應用提供了硬件載體。為促進產業(yè)協(xié)同創(chuàng)新,靈巧智能宣布DexCanvas數據集即將面向業(yè)界開源,后續(xù)研究人員可通過Hugging Face平臺獲取數據,通過GitHub獲取開源數據加載器和集成示例。完整技術報告也將在10月中于arXiv發(fā)布,可關注靈巧智能官方渠道獲取數據集開源進展、技術報告與相關成果的第一手信息。