MLPerf的AI訓(xùn)練基準(zhǔn)測(cè)試套件于2018年5月推出，初步結(jié)果于2018年12月公布。MLPerf推理套件發(fā)布于2019年6月24日，此次最新發(fā)布MLPerfAI推理基準(zhǔn)測(cè)試有全球23家公司和機(jī)構(gòu)參與，在數(shù)據(jù)中心及邊緣等場(chǎng)景進(jìn)行AI計(jì)算產(chǎn)品的性能比試。其中，數(shù)據(jù)中心部分最受關(guān)注，全部參與機(jī)構(gòu)提交了507項(xiàng)性能測(cè)試數(shù)據(jù)。

就此次測(cè)試，11月22日，國(guó)內(nèi)服務(wù)器廠商陸續(xù)發(fā)布新聞，浪潮宣稱其配置

8顆第三代NVLink A100 GPU的NF5488A5，一舉創(chuàng)造18項(xiàng)MLPerf推理性能記錄，成為創(chuàng)紀(jì)錄最多AI服務(wù)器。其中，浪潮NF5488A5創(chuàng)下了數(shù)據(jù)中心22個(gè)賽項(xiàng)中的13項(xiàng)性能記錄以絕對(duì)優(yōu)勢(shì)領(lǐng)先，NVIDIA DGX取得了5項(xiàng)數(shù)據(jù)中心性能記錄，單機(jī)性能高居榜首。

浪潮NF5488A5服務(wù)器

當(dāng)天，國(guó)內(nèi)服務(wù)器新銳廠商寧暢也宣布，其配置NVIDIA T4_/A100 GPU卡的Nettrix X640 G30 AI服務(wù)器，在ResNet、BERT、DLRM等基準(zhǔn)測(cè)試中取得30項(xiàng)世界第一成績(jī)。寧暢工程師表示，Nettrix X640 G30 AI服務(wù)器，最高可支持10張NVIDIA A100 PCIe卡或21張NVIDIA T4 PCIe卡。

寧暢 X640 AI服務(wù)器

對(duì)比同樣搭載4張A100 GPU卡(4顆A100 GPU)的AI服務(wù)器，寧暢Nettrix X640 G30在Resnet50、SSD、RNN-T、BERT、DLRM等10項(xiàng)測(cè)試中分?jǐn)?shù)值取得世界第一；搭載16張T4 GPU卡配置的情況下，打破6項(xiàng)世界紀(jì)錄。搭配21張T4 GPU卡的X640 G30，測(cè)試分?jǐn)?shù)斬獲14項(xiàng)世界第一。

配置/環(huán)境不同，成績(jī)眾多

為什么MLPerf基準(zhǔn)測(cè)試要發(fā)布如此多的紀(jì)錄和第一呢?

作為MLPerf基準(zhǔn)測(cè)試的開(kāi)創(chuàng)者，為什么David?Patterson、David Kanter等不做一個(gè)單一的MLPerf分?jǐn)?shù)呢?其實(shí)也很簡(jiǎn)單，因?yàn)镵anter和他的同事希望MLPerf不僅能適用于廣泛的工作負(fù)載，而且還能適用于大量的體系結(jié)構(gòu)，因此，MLPerf不僅分為AI訓(xùn)練工作負(fù)載和AI推理，而且還根據(jù)圖像分類、目標(biāo)檢測(cè)和自然語(yǔ)言翻譯等不同任務(wù)，按照Single stream、Multiple stream、Server和Offline等四個(gè)場(chǎng)景進(jìn)行衡量，此外還有“開(kāi)放(Open)”和“封閉(Close)”場(chǎng)景劃分。

配置、環(huán)境、場(chǎng)景不同，測(cè)試的指標(biāo)以及約束條件就不同。其中，或考察延遲、或考察流數(shù)量處理性能、每秒查詢數(shù)量以及數(shù)據(jù)吞吐量等。對(duì)聚焦不同AI應(yīng)用場(chǎng)景的從業(yè)者，就需要對(duì)Resnet50、SSD、RNN-T、BERT、DLRM等進(jìn)行深人比較，從中選擇最具參考價(jià)值的信息。

要追求MLPerf基準(zhǔn)測(cè)試成績(jī)，主要取決于AI服務(wù)器所能夠支持異構(gòu)計(jì)算GPU卡的類型和數(shù)量，這也是AI服務(wù)器性能首要的影響因素。正因如此，擁有8塊NVIDIA A100 GPU卡的NF5488A5和搭載21張T4 GPU卡的X640 G30都取得了超10項(xiàng)紀(jì)錄的好成績(jī)。

配置以及環(huán)境不一樣，這就是兩家公司都是“AI服務(wù)器性能第一”的原因，兩家強(qiáng)調(diào)的方向不同，一個(gè)高舉高打，追求性能；另一個(gè)強(qiáng)調(diào)，在同配置下，通過(guò)定制化追逐對(duì)CPU、GPU產(chǎn)品的性能挖掘能力。

小結(jié)

高舉高打也好，追求定制“優(yōu)化能力”也罷!應(yīng)該說(shuō)，都有各自擁躉和市場(chǎng)。同樣針對(duì)圖像分類、目標(biāo)檢測(cè)和自然語(yǔ)言翻譯等AI應(yīng)用，實(shí)力不同，階段不同，用戶的選擇側(cè)重，自然也會(huì)不同。

作為老牌服務(wù)器領(lǐng)導(dǎo)廠商，浪潮表現(xiàn)可說(shuō)在意料之中，而作為新銳廠商的寧暢，則更讓人眼前一亮。但好產(chǎn)品畢竟不是只用來(lái)“打榜”或“評(píng)分”的。期待兩個(gè)性能第一AI服務(wù)器的市場(chǎng)表現(xiàn)，尤其是寧暢，作為初創(chuàng)企業(yè)其近日消息表明已中標(biāo)6000萬(wàn)元知名互聯(lián)網(wǎng)公司訂單，并成為UCloud的主要服務(wù)器供應(yīng)商之一，勢(shì)頭很猛。

songjy