在這個方案中，Grace CPU和Hopper GPU之間透過NVlink C2C進(jìn)行連接; 但是超過256個GPU，更多GPU之間的連接，還是需要通過ConnectX-7 IB網(wǎng)卡或者BlueField-3 SuperNIC(可以視為智能網(wǎng)卡)進(jìn)行連接，圖中采用的是InfiniBand網(wǎng)絡(luò)進(jìn)行連接，如果你更加青睞以太網(wǎng)連接，也可以選用全新NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺，該平臺包括 NVIDIA Spectrum-4交換機(jī)、BlueField-3 SuperNIC、以及加速軟件，其中 Spectrum-4與 BlueField-3 SuperNIC 緊密結(jié)合可以將AI 性能和能效提升 1.7 倍。
類似于CUDA對于GPU AI應(yīng)用的重要性。與Spectrum-X 平臺配套的加速軟件和軟件開發(fā)套件(SDK)，以及BlueField SuperNIC 配套的 NVIDIA DOCA 軟件框架也發(fā)揮了非常重要的作用。其中，利用Spectrum-4交換機(jī)逐包數(shù)據(jù)分發(fā)、可編程擁塞控制，以及BlueField-3 SuperNIC的數(shù)據(jù)亂序重組的能力，Spectrum-X網(wǎng)絡(luò)平臺幫助用戶實(shí)現(xiàn)了端到端無損RoCE路由，以及多租戶不同工作負(fù)載的性能隔離。驅(qū)動 Spectrum-X 的加速軟件還包括 Cumulus Linux、純 SONiC 、NetQ 等，共同助力該網(wǎng)絡(luò)平臺實(shí)現(xiàn)極致性能。
對于生成式AI應(yīng)用場景而言，這些能力至關(guān)重要，是影響效率的關(guān)鍵。
NVIDIA 網(wǎng)絡(luò)高級副總裁 Gilad Shainer 表示：“生成式 AI 等開創(chuàng)性技術(shù)的飛速發(fā)展，使每家企業(yè)都必須把網(wǎng)絡(luò)創(chuàng)新放在第一位，從而獲得競爭優(yōu)勢。NVIDIA Spectrum-X 是對以太網(wǎng)絡(luò)的一次革命，讓企業(yè)能夠充分利用其 AI 基礎(chǔ)設(shè)施的強(qiáng)大力量來改變其運(yùn)營方式，甚至顛覆他們的行業(yè)?！?/p>
