最新版本的MLPerf存儲基準(zhǔn)測試需要仔細研究，以便比較供應(yīng)商的單節(jié)點和多節(jié)點存儲系統(tǒng)在三個工作負載、系統(tǒng)特性以及兩種基準(zhǔn)測試運行類型中的表現(xiàn)?；鶞?zhǔn)測試背后的組織MLCommons聯(lián)系了我們，并提供了有關(guān)基準(zhǔn)測試背景和使用的信息。我們在這里轉(zhuǎn)載它，以幫助評估其結(jié)果。

MLCommons的市場總監(jiān)Kelly Berschauer告訴我們，基準(zhǔn)測試最初主要針對的是人工智能實踐者，他們以訓(xùn)練數(shù)據(jù)樣本和每秒樣本數(shù)來思考，而不是以文件、MBps或IOPS等存儲人員的方式來思考。MLPerf存儲工作組的成員決定在v1.0版本中，將存儲基準(zhǔn)測試報告與購買者尋找的更傳統(tǒng)指標(biāo)（MB/s、IOPs等）對齊?；鶞?zhǔn)測試中的每個工作負載定義了一個“樣本”（對于該工作負載），作為一定量的數(shù)據(jù)，每個單獨樣本的大小圍繞這個數(shù)字有一定的隨機波動，以模擬我們在現(xiàn)實世界中會看到的一些自然變化。最終，MLPerf將樣本視為一個恒定大小，即實際大小的平均值。平均大小分別是Cosmoflow（2,828,486字節(jié)）、Resnet50（114,660字節(jié)）和Unet3D（146,600,628字節(jié)）。由于樣本是“固定”大小，我們將其乘以每秒樣本數(shù)，得到MiB/s，并讓人工智能實踐者知道他們可以反向計算出他們感興趣的每秒樣本數(shù)。

比較每個GPU的獲得MiB/s值并沒有太大的價值，因為基準(zhǔn)測試認為“通過結(jié)果”是Unet3D和ResNet50的加速器利用率（AU）達到90%或更高，而Cosmoflow則為70%或更高。我們文章中包含的圖表僅顯示MiB/s/GPU結(jié)果的變化高達10%?；鶞?zhǔn)測試使用AU百分比作為閾值。這是因為，由于GPU是重要的投資，用戶希望確保每個GPU不會因為存儲系統(tǒng)跟不上而缺乏數(shù)據(jù)。基準(zhǔn)測試并沒有額外的價值，以保持GPU超過90%的忙碌（或Cosmoflow超過70%）。

比較每個客戶端系統(tǒng)的MiB/s值（基準(zhǔn)測試稱之為“主機節(jié)點”）也不是很有價值，因為在給定的計算機系統(tǒng)中可以安裝的GPU數(shù)量有物理限制，但在“主機節(jié)點”上可以運行的模擬GPU數(shù)量沒有限制。因此，基準(zhǔn)測試報告的“主機節(jié)點”數(shù)量與需要托管相同數(shù)量GPU的實際計算機系統(tǒng)數(shù)量之間沒有關(guān)系，我們無法從中得出任何結(jié)論?；鶞?zhǔn)測試使用模擬的GPU，使存儲供應(yīng)商能夠運行基準(zhǔn)測試，而無需實際付出大量投資獲得如此多（通常）的主機節(jié)點和GPU。

給定的存儲設(shè)備可以支持的模擬GPU訓(xùn)練集群的“規(guī)模”是這個基準(zhǔn)評測的核心要點。即對于給定的存儲設(shè)備集，它可以支持多少同類型的模擬GPU。在現(xiàn)代的可擴展架構(gòu)中（無論是計算集群還是存儲集群），沒有“架構(gòu)最大”性能，如果你需要更多的性能，通常只需要添加更多的設(shè)備。這當(dāng)然因廠商而異，但這是一個好的經(jīng)驗法則。v1.0版本的提交者使用了數(shù)量各異的存儲設(shè)備，因此我們預(yù)計報告的最高性能數(shù)字會有很大的差異。

不同的GPU集群“規(guī)模”肯定會對存儲施加不同程度的負載，但每個GPU的帶寬必須保持在所需帶寬的90%或更高，否則結(jié)果將不會“通過”測試。

分布式神經(jīng)網(wǎng)絡(luò)（NN）訓(xùn)練需要定期在GPU群體之間交換NN權(quán)重的當(dāng)前值。沒有權(quán)重交換，網(wǎng)絡(luò)將根本無法學(xué)習(xí)。AI社區(qū)已經(jīng)對權(quán)重交換的周期性進行了深入研究，基準(zhǔn)測試使用了每種工作負載權(quán)重交換間隔的公認規(guī)范。隨著訓(xùn)練集群中GPU數(shù)量的增加，完成權(quán)重交換所需的時間會增加，但權(quán)重交換是必需的，因此AI社區(qū)將其視為不可避免的成本?；鶞?zhǔn)測試使用“MPI屏障”來模擬定期的權(quán)重交換。MPI屏障迫使GPU都到達一個共同的停止點，就像現(xiàn)實世界訓(xùn)練中的權(quán)重交換一樣。基準(zhǔn)測試最近計算的AU不包括GPU等待模擬權(quán)重交換完成的時間。

無論GPU集群的規(guī)模如何，每個GPU的每秒帶寬值都將是相同的值，只有在模擬權(quán)重交換期間，才會定期出現(xiàn)沒有存儲IO請求的時候。如果將總數(shù)據(jù)移動量除以總運行時間，似乎隨著規(guī)模的增加，每個GPU所需的B/W在下降，那是因為如果沒有正確計算權(quán)重交換的“靜止時間”，就會出現(xiàn)這種情況。

MLPerf計劃在v2.0版本中將功率數(shù)據(jù)作為基準(zhǔn)測試的一個可選方面納入其中，并且很可能會要求報告每次提交時設(shè)備消耗的機架單元數(shù)。同時，它還在考慮為v2.0增加幾個額外的功能。與所有基準(zhǔn)測試一樣，MLPerf工作組將通過一段時間持續(xù)去完善這個評測標(biāo)準(zhǔn)。

zhupb

<sup id="ns9uk"></sup>