自主機器人所面臨的關(guān)鍵挑戰(zhàn)之一是感知和理解周圍的世界。
在ROS World 2021上，NVIDIA發(fā)布了向ROS開發(fā)者社區(qū)提供高性能感知技術(shù)的最新項目。這些項目將加速產(chǎn)品開發(fā)、提高產(chǎn)品性能，并最終簡化為將先進計算機視覺和AI/ML功能整合到基于ROS的機器人應(yīng)用程序中的任務(wù)。
公告要點：
NVIDIA Isaac ROS GEM – 經(jīng)過優(yōu)化的性能
圖1. NVIDIA Isaac ROS GEM軟件框架圖。
Isaac ROS GEM提供圖像處理和計算機視覺等組件，其中有針對NVIDIA GPU和Jetson進行高度優(yōu)化的DNN算法。
重點GEM：立體視覺測距 – 超高的精度和經(jīng)過優(yōu)化的性能
當(dāng)自主機器在環(huán)境中移動時，它們必須持續(xù)追蹤自己的位置。視覺測距通過估算攝像機與其起點的相對位置來解決這個問題。Isaac ROS GEM for stereo visual odometry為ROS開發(fā)者提供這項強大的功能。
該GEM為實時立體攝像機視覺測距解決方案提供最佳精度。點擊此處可查看基于廣泛使用的KITTI數(shù)據(jù)庫所得到的公開結(jié)果。除了高精度之外，這個GPU加速組件的運行速度也非常快?，F(xiàn)在已可以在NVIDIA Jetson Xavier AGX上以高清分辨率(1280×720)實時(>60fps)運行SLAM。
重點GEM DNN推理 – 現(xiàn)已向ROS開發(fā)者開放所有NGC DNN推理模型
您可以使用NVIDIA在NGC上提供的眾多推理模型中的任何一種，甚至可以使用DNN推理GEM(一套ROS2軟件包)提供自己的DNN推理模型。開發(fā)者可以使用NVIDIA TAO工具套件對預(yù)訓(xùn)練模型進一步調(diào)整或者對自定義模型進行優(yōu)化。
經(jīng)過優(yōu)化后，這些組件由NVIDIA推理服務(wù)器TensorRT或Triton部署。憑借使用TensorRT（NVIDIA高性能推理SDK）的節(jié)點，可實現(xiàn)最佳推理性能。如果TensorRT不支持所需的DNN模型，則應(yīng)使用Triton來部署該模型。
GEM包含對U-Net和DOPE的原生支持?；赥ensorRT的U-Net組件可用于從圖像中生成語義分割掩碼。而DOPE組件可用于對所有檢測到的物體進行三維姿態(tài)估計。
該工具是在ROS應(yīng)用中加入高性能AI推理的最快方式。
圖2. 來自3個Isaac ROS GEM的合成圖像 – DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）。
NVIDIA Isaac SIM GA版本
Isaac Sim的GA版本將于2021年11月發(fā)布，這將是迄今為止對開發(fā)者最友好的版本。其用戶界面、性能和實用構(gòu)建模塊經(jīng)過了大量改進，使用戶可以更快構(gòu)建更強大的模擬。此外，經(jīng)過改進的ROS橋和更多ROS樣本將提高ROS開發(fā)者的開發(fā)體驗。
該版本的更新內(nèi)容（2021.2版本計劃于2021年11月發(fā)布）
點擊查看視頻，了解如何使用ROS MoveIT實現(xiàn)對Franka的聯(lián)合控制：https://www.ixigua.com/7021714009317442056?logTag=ff37d2b1e1b7db058dc
新的合成數(shù)據(jù)生成工作流程 – 來自Isaac Sim的生產(chǎn)級數(shù)據(jù)集
自主機器人需要使用大量不同的數(shù)據(jù)集，來訓(xùn)練眾多運行其感知棧的AI模型。從真實世界場景中獲取全部訓(xùn)練數(shù)據(jù)的成本過高，而且一些極端場景可能存在危險。Isaac Sim提供的新合成數(shù)據(jù)工作流程，通過建立生產(chǎn)級數(shù)據(jù)集解決了自主機器人的安全和質(zhì)量問題。
建立數(shù)據(jù)集的開發(fā)者，可以控制物體在場景中的隨機分布、場景本身、照明和合成傳感器。開發(fā)者也可以通過精細的控制，確保數(shù)據(jù)集中包含重要的極端案例。最后，該工作流程支持版本控制和調(diào)試信息，因此可以在需要審核和保障安全時完整地復(fù)制數(shù)據(jù)集。
