著名計算機科學家Bill Dally講述他的團隊如何助力AI性能實現(xiàn)逐年翻倍。

今天，NVIDIA 首席科學家 Bill Dally 在 GTC 中國線上大會主題演講中說道，NVIDIA 的研究人員致力于打造速度更快的 AI 芯片，并將其用于具有更高帶寬的系統(tǒng)，從而簡化編程。

他以三個項目為例，講述了自己帶領(lǐng)的 200 人的研究團隊如何成功實現(xiàn)「黃氏定律 (Huang』s Law)」。這則以 NVIDIA 首席執(zhí)行官黃仁勛（Jensen Huang）名字命名的定律，預(yù)測 GPU 將推動 AI 性能實現(xiàn)逐年翻倍。

Dally 講述：「如果我們真想提高計算機性能，黃氏定律就是一項重要指標，且在可預(yù)見的未來都將一直適用。此前，Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領(lǐng)域的相關(guān)研究?！?/p>

NVIDIA 助力 AI 推理性能每年提升一倍以上

超高能效加速器

為實現(xiàn)這一突破，NVIDIA 研究人員專門開發(fā)了一種名為 MAGNet 的工具，其生成的 AI 推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一個數(shù)量級。

MAGNet 采用了一系列新技術(shù)來協(xié)調(diào)并控制通過設(shè)備的信息流，最大限度地減少數(shù)據(jù)傳輸，而數(shù)據(jù)傳輸正是當今芯片中最耗能的環(huán)節(jié)。這一研究原型以模組化實現(xiàn)，因此能夠靈活擴展。

另外，研究團隊還開展了一項研究，旨在以更快速的光鏈路取代現(xiàn)有系統(tǒng)內(nèi)的電氣鏈路。

發(fā)揮所有光子的潛能

Bill Dally 擁有 120 多項專利，在 2009 年加入 NVIDIA 之前，曾任斯坦福大學計算機科學系主任。Dally 表示：「我們可以將連接 GPU 的 NVLink 速度提高一倍，也許還會再翻番，但電信號最終會消耗殆盡。」

該團隊正在與哥倫比亞大學的研究人員密切合作，探討如何利用電信供應(yīng)商在其核心網(wǎng)絡(luò)中所采用的技術(shù)，通過一條光纖來傳輸數(shù)十路信號。

這種名為「密集波分復(fù)用」的技術(shù), 有望在僅一毫米大小的芯片上實現(xiàn) Tb/s 級數(shù)據(jù)的傳輸，是如今互連密度的十倍以上。

除了更大的吞吐量，光鏈路也有助于打造更為密集型的系統(tǒng)。Dally 舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統(tǒng)模型。

工程師借助光鏈路，在單一系統(tǒng)中可搭載 160 多個 GPU

軟件方面，NVIDIA 的研究人員開發(fā)了全新編程系統(tǒng)原型 Legate。開發(fā)者借助 Legate，即可在任何規(guī)模的系統(tǒng)上，運行針對單一 GPU 編寫的程序——甚至適用于諸如 Selene 等搭載數(shù)千個 GPU 的巨型超級計算機。

Legate 將一種新的編程速記融入了加速軟件庫和高級運行時環(huán)境 Legion，目前它正在美國國家實驗室接受測試。

描繪美好未來

除上述三項研究，Dally 還在主題演講中談到了 NVIDIA 特別針對醫(yī)療健康、無人駕駛汽車和機器人等眾多行業(yè)打造的平臺。同時，他還致力于鉆研數(shù)據(jù)科學、AI 和圖形處理。

Dally 表示：「經(jīng)過幾代人的努力，NVIDIA 的產(chǎn)品將通過基于物理渲染的路徑追蹤技術(shù)，實時生成令人驚艷的圖像，并能夠借助 AI 構(gòu)建整個場景?！?/p>

此外，他還首次公開展示了 NVIDIA 的對話式 AI 框架 Jarvis 與 GauGAN 的完美組合。GauGAN 利用生成式對抗網(wǎng)絡(luò)，只需簡略構(gòu)圖，就能創(chuàng)建美麗的風景圖。在演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。欲查看 Jarvis/GauGAN 演示，請前往 NVIDIA 官網(wǎng)，觀看主題演講直播/回放。

在主題演講視頻錄制的間隙，Dally 接受了采訪，表示對研究團隊在多個領(lǐng)域取得的開創(chuàng)性進展深感自豪。

他說：「當前，NVIDIA 在光線追蹤領(lǐng)域所取得進展，都始于 NVIDIA 研究院打造的原型，我們的產(chǎn)品團隊都很興奮。2011 年，我委派 NVIDIA 研究員 Bryan Catanzaro 與斯坦福大學教授 Andrew Ng 共同合作一個項目，后來打造出 CuDNN 軟件，讓深度學習領(lǐng)域大量的研究工作成為可能。」

立足網(wǎng)絡(luò)領(lǐng)域

此外，Dally 還牽頭開展了一項合作，構(gòu)建了 NVLink 和 NVSwitch 最初的原型。NVLink 和 NVSwitch 如今用于全球最大型的超級計算機中，實現(xiàn)了其內(nèi)部 GPU 的互連。

他說：「產(chǎn)品團隊總能迅速將研究工作轉(zhuǎn)化為實際成果，這也是 NVIDIA 如今能夠成為全球公認最領(lǐng)先的網(wǎng)絡(luò)公司之一的原因?！?/p>

談及對科技的熱情，Dally 說自己就像個沉浸在糖果故事里的孩子。也許某一天，原本還在幫助一組團隊研究 AI 加速器的他，就會突然轉(zhuǎn)而幫助另一團隊解決機器人領(lǐng)域的復(fù)雜問題。

他說：「我現(xiàn)在所做的，是一份全世界，或者起碼是全公司里最有趣的工作，讓我有機會能夠助力塑造未來?！?/p>

除大會主題演講外，GTC 中國線上大會還將提供 220 多場主題演講和分論壇，均可免費參加，且絕大多數(shù)將使用中文。

GTC 中國線上大會高峰論壇及初創(chuàng)企業(yè)展示

主題演講之后，NVIDIA 的資深專家將齊聚高峰論壇，介紹公司在 AI、數(shù)據(jù)科學和醫(yī)療健康領(lǐng)域的多項突破性技術(shù)在中國的落地應(yīng)用。

此外，面向 AI 和數(shù)據(jù)科學領(lǐng)域初創(chuàng)企業(yè)的孵化項目 NVIDIA 初創(chuàng)加速計劃（NVIDIA Inception）將邀請 12 家領(lǐng)軍中國初創(chuàng)企業(yè)出席此次大會。

大會吸引了眾多行業(yè)領(lǐng)軍企業(yè)與機構(gòu)參與其中，包括阿里巴巴、AWS、百度、字節(jié)跳動、中國電信、戴爾科技、滴滴、新華三、浪潮、快手、聯(lián)想、微軟、平安、騰訊、清華大學和小米。

zhangnn