對于NVIDIA Omniverse有很多東西需要了解，最簡單的理解它是NVIDIA發(fā)布的一個計算機圖形與仿真模擬平臺，平臺基于Pixar公司的Universal Scene Description(USD，通用場景描述)與NVIDIA RTX GPU技術(shù)。

NVIDIA Omniverse很神奇。愛立信用它來調(diào)整基站的位置，虛擬大流量的移動的車輛、物體對信號的影響，甚至可以借助Omniverse VR在虛擬世界中親身見證。洛克希德·馬丁公司用它預測整個加州山火蔓延的路徑和規(guī)模，告訴消防人員什么時候可以采取什么策略。這些都是建立在模型的基礎上，基于AI和人工智能深度神經(jīng)網(wǎng)絡，判斷預警火災發(fā)生的位置、蔓延的速度和方向，做到前期火山軌跡圖。

在不久前的秋季GTC上，NVIDIA 發(fā)布了Omniverse幾大全新特性，主要包含：Showroom、Farm、AR和VR，涉及展示、多節(jié)點渲染和模擬、AR等，如今Showroom、Farm、AR已經(jīng)在Omniverse公測版里可以使用，VR會盡快發(fā)布。 在這次GTC上，NVIDIA還宣布了基于Omniverse Enterprise的人工智能開發(fā)框架叫NVIDIA Modulus，通過使用物理加速的機器學習和訓練數(shù)據(jù)，去進行深度神經(jīng)網(wǎng)絡模型訓練，可以輸出一個真實世界場景的替代模型。

NVIDI Omniverse Replicator、Isaac Sim可以用于自主駕駛車輛、機器人的訓練，Drive Sim可以用于無人駕駛車、自駕車、大型自主移動車輛。Omniverse Avatar為AI助手的創(chuàng)建，開辟了道路，可以應用在餐廳訂單、銀行交個人預約和預訂等場景，為客戶帶來不同的視覺和服務體驗。

NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“智能虛擬助手的前景一片光明。Omniverse Avatar將我們的基礎圖像、模擬和AI技術(shù)結(jié)合在一起，打造出一些有史以來最復雜的實時應用。協(xié)作機器人和虛擬助手的案例令人難以置信，影響深遠。”

在NVIDIA GTC主題演講中，黃仁勛分享了使用Omniverse Avatar的多個例子，包括用于客戶支持的Project Tokkio、用于永久在線車載智能服務的NVIDIA DRIVE Concierge以及用于視頻會議的Project Maxine。

Omniverse Avatar 所使用的語音AI、計算機視覺、自然語言理解、推薦引擎、面部動畫和圖像元素，通過以下技術(shù)實現(xiàn)：

● 其語音識別基于NVIDIA Riva。這個軟件開發(fā)工具包可以識別多種語言的語音。Riva還可通過文本語音轉(zhuǎn)換功能生成接近真人的語音反饋。

● 其自然語言理解基于Megatron 530B大型語言模型。該模型可以識別、理解和生成人類語言。Megatron 530B是一個預訓練模型，它可以在很少或沒有訓練的情況下完成句子、回答主題廣泛的問題、總結(jié)長而復雜的故事、翻譯成其他語言，并應對許多它未接受過專門訓練的情景。

● 其推薦引擎由NVIDIA Merlin?提供。該框架使企業(yè)可以建立能夠處理大量數(shù)據(jù)的深度學習推薦系統(tǒng)，以提出更明智的建議。

● 其感知功能來自用于視頻分析的計算機視覺框架——NVIDIA Metropolis。

● 其虛擬形象動畫由AI賦能的2D和3D面部動畫和渲染技術(shù)——NVIDIA Video2Face和Audio2Face驅(qū)動。

這些技術(shù)被集成在一個應用，并使用NVIDIA統(tǒng)一計算框架進行實時處理。

songjy