英偉達(dá)開(kāi)發(fā)了一種新的深度學(xué)習(xí)引擎GANverse3D，能將標(biāo)準(zhǔn)2D圖像，轉(zhuǎn)換成3D物體模型，并作為虛擬協(xié)作模擬平臺(tái)Nvidia Omniverse的擴(kuò)展套件使用，將3D模型渲染成光影逼真的樣子。

英偉達(dá)人工智能實(shí)驗(yàn)室所開(kāi)發(fā)的GANverse3D應(yīng)用程序，能將平面圖像轉(zhuǎn)成3D模型，并在虛擬環(huán)境進(jìn)行視覺(jué)化與操作控制，官方提到，這項(xiàng)功能可以讓建筑師、創(chuàng)作者、游戲開(kāi)發(fā)者和設(shè)計(jì)師，在不需具備3D建模的專業(yè)知識(shí)下，簡(jiǎn)單地將物件加到3D場(chǎng)景中。像是用單張汽車(chē)照片，就可以創(chuàng)建出3D模型，該模型可以在虛擬場(chǎng)景中行駛，并配備仿真的前燈、尾燈和方向燈等裝備。

在開(kāi)發(fā)GANverse3D的過(guò)程中，由于缺少訓(xùn)練資料，研究人員便將生成對(duì)抗網(wǎng)絡(luò)（GAN）轉(zhuǎn)變?yōu)楦咝軘?shù)據(jù)產(chǎn)生器，用來(lái)生成同一物體，但是從不同方向觀看的圖片，這些圖片就像是攝影師繞著車(chē)輛，從不同角度拍攝的一樣。

這些多重視角的圖片，被插入到反轉(zhuǎn)圖像（Inverse Graphics）用的渲染框架中，在經(jīng)過(guò)這些圖片訓(xùn)練后，GANverse3D只需要單張2D圖像就可快速創(chuàng)建出3D模型，這些模型可以被用于3D神經(jīng)渲染上，供開(kāi)發(fā)人員控制自定義物件和變換背景。

Nvidia研究人員Jun Gao提到，因?yàn)檫@些訓(xùn)練數(shù)據(jù)都是真實(shí)的圖像，不是依賴典型的數(shù)據(jù)合成方法，讓AI模型可以更廣泛地在真實(shí)世界中應(yīng)用。

崔歡歡