浪潮信息AS13000G7做對(duì)了什么？有哪些心得體會(huì)分享？

10月18日，浪潮信息存儲(chǔ)產(chǎn)品線副總經(jīng)理劉希猛、浪潮信息分布式存儲(chǔ)研發(fā)部總經(jīng)理張?jiān)谫F、浪潮信息分布式存儲(chǔ)產(chǎn)品線副總經(jīng)理安祥文、浪潮信息分布式存儲(chǔ)方案架構(gòu)師Lance SUN接受媒體采訪，分享了MLPerf Storage v1.0測(cè)試的經(jīng)驗(yàn)。

據(jù)了解，本次MLPerf存儲(chǔ)基準(zhǔn)評(píng)測(cè)（v1.0）吸引了全球13家存儲(chǔ)廠商和研究機(jī)構(gòu)參與，圍繞醫(yī)學(xué)影像分割、圖像分類、宇宙學(xué)參數(shù)預(yù)測(cè)垂直領(lǐng)域內(nèi)的 3D-Unet 、 ResNet50、 CosmoFlow三個(gè)典型算法，重點(diǎn)考察與之匹配的存儲(chǔ)系統(tǒng)的總帶寬/每節(jié)點(diǎn)帶寬，以及存算配比指標(biāo)的能力。

這些指標(biāo)對(duì)于AI至關(guān)重要，原因很簡(jiǎn)單，如今承擔(dān)算力的GPU資源非常昂貴，萬(wàn)卡集群所能提供的算力驚人，資金投入同樣驚人，在這種情況下，高效利用GPU資源意義重大。眾所周知的“木桶效應(yīng)”表明，木桶盛水的多寡是由短板而非長(zhǎng)版決定的，AI系統(tǒng)也是一樣，不論決定模型訓(xùn)練數(shù)據(jù)加載，還是模型訓(xùn)練過(guò)程中斷點(diǎn)續(xù)訓(xùn)，其加載速度不能拖GPU的后腿，加載時(shí)間越短越好，不要讓GPU資源出現(xiàn)閑置、等待的狀態(tài)。

有鑒于此， MLPerf存儲(chǔ)基準(zhǔn)評(píng)測(cè)（v1.0）對(duì)GPU利用率設(shè)置了門(mén)檻，其中，3D-UNet的要求是90%以上，Resnet50、CosmoFlow的要求是70%以上，換句話說(shuō)，留給存儲(chǔ)數(shù)據(jù)加載的時(shí)間，最苛刻的只有10%，在滿足這個(gè)前提下，對(duì)于存儲(chǔ)系統(tǒng)的吞吐能力，以及所能夠支持GPU數(shù)量進(jìn)行考察，也就是上面圖標(biāo)中所說(shuō)的加速器數(shù)量，這里的數(shù)據(jù)越大越好。

順帶提一句，在這次參加測(cè)試產(chǎn)品中，Resnet50始終達(dá)不到70%利用率的指標(biāo)，后來(lái)MLCommons協(xié)會(huì)對(duì)MLPerf Storage v1.0軟件進(jìn)行了調(diào)整。因此，此次測(cè)試，3D-UNet、CosmoFlow更能夠說(shuō)明問(wèn)題。

要想在MLPerf存儲(chǔ)基準(zhǔn)評(píng)測(cè)(v1.0)中取得佳績(jī)，采取NVMe SSD全閃集群架構(gòu)設(shè)計(jì)是一定，SATA SSD以及混閃架構(gòu)設(shè)計(jì)達(dá)不到性能的需要。此外，網(wǎng)絡(luò)帶寬也是必須滿足的條件，有專業(yè)人士指出，“網(wǎng)絡(luò)400G連接完全是被GenAI催生出來(lái)的需求，其技術(shù)本身沒(méi)有那么成熟，類似性能抖動(dòng)是必須要解決的工程上的難題?！?/p>

劉希猛透露，浪潮信息在這次測(cè)試中，采用了InfiniBand網(wǎng)絡(luò)方案，但浪潮信息也準(zhǔn)備了以太網(wǎng)絡(luò)方案，能夠幫助用戶更好控制成本。

然而，僅有硬件還是遠(yuǎn)遠(yuǎn)不夠的，軟件的作用更為關(guān)鍵。

對(duì)于參測(cè)的存儲(chǔ)系統(tǒng)而言，必須要一致性分布式管理系統(tǒng)進(jìn)行組織協(xié)調(diào)，以浪潮信息的方案為例，其控制層面采用有針對(duì)的管理和調(diào)度，對(duì)節(jié)點(diǎn)間流轉(zhuǎn)的數(shù)據(jù)流進(jìn)行管控，減少東西向（節(jié)點(diǎn)間）數(shù)據(jù)轉(zhuǎn)發(fā)量，因?yàn)轭l繁的節(jié)點(diǎn)間數(shù)據(jù)轉(zhuǎn)發(fā)，必然拖累存儲(chǔ)系統(tǒng)的整體效能；再有就是頻繁的IO中斷以及上下文切換，也是需要極力避免的問(wèn)題。為此，浪潮信息分布式存儲(chǔ)平臺(tái)AS13000G7采用了多路并發(fā)透?jìng)骷夹g(shù)，將多個(gè) I/O 請(qǐng)求進(jìn)行整合和批處理，使得系統(tǒng)可以一次性處理多個(gè)請(qǐng)求，而不是逐個(gè)處理，從而減少了上下文切換的次數(shù)；該系統(tǒng)允許多個(gè) IO通道同時(shí)傳輸數(shù)據(jù)，充分利用存儲(chǔ)系統(tǒng)的硬件資源和網(wǎng)絡(luò)帶寬。

此外，在數(shù)據(jù)傳輸過(guò)程中，還要注意減少格式轉(zhuǎn)換、數(shù)據(jù)校驗(yàn)等中間處理環(huán)節(jié)，采用數(shù)據(jù)直通傳輸?shù)姆绞?。還要注意增強(qiáng)文件系統(tǒng)與計(jì)算節(jié)點(diǎn)親和性，確保負(fù)載均衡。從浪潮信息存儲(chǔ)的實(shí)踐看，好的設(shè)計(jì)能夠?qū)?shù)據(jù)移動(dòng)與多核CPU之間的訪問(wèn)效率提升400%。

這些先進(jìn)技術(shù)的是AS13000G7斬獲佳績(jī)的重要保證。

從表現(xiàn)看，在3D-UNet測(cè)試場(chǎng)景中，AS13000G7三節(jié)點(diǎn)存儲(chǔ)實(shí)現(xiàn)了1430個(gè)高并發(fā)讀線程，每個(gè)線程單次I/O時(shí)延均在0.005秒以內(nèi)，AI端到端訓(xùn)練I/O占比低于10%，計(jì)算節(jié)點(diǎn)帶寬利用率達(dá)到了72%，實(shí)現(xiàn)了單存儲(chǔ)節(jié)點(diǎn)120 GB/s的超高性能。在單客戶端2和多客戶端2 CosmoFlow宇宙學(xué)分析應(yīng)用的評(píng)測(cè)任務(wù)中，AS13000G7也分別提供了18 GB/s和52 GB/s的帶寬最佳成績(jī)。

這是一份令人相當(dāng)滿意的答卷，也幫助浪潮信息在評(píng)測(cè)中獨(dú)占鰲頭。

劉希猛指出，人工智能賦能千行百業(yè)，背后離不開(kāi)數(shù)據(jù)這個(gè)關(guān)鍵生產(chǎn)要素，數(shù)據(jù)連接了物理世界和數(shù)字世界，而數(shù)據(jù)存儲(chǔ)作為數(shù)據(jù)的載體，是人工智能落地的關(guān)鍵支撐之一。

如今，輿論的焦點(diǎn)都集中在大模型AI創(chuàng)造的神奇，但是對(duì)于創(chuàng)造奇跡的過(guò)程缺乏必要的了解。在存儲(chǔ)配套方面也存在類似問(wèn)題，輿論更多關(guān)注模型訓(xùn)練的數(shù)據(jù)加載、過(guò)程中的斷點(diǎn)續(xù)訓(xùn)，青睞TB級(jí)、萬(wàn)卡算力等指標(biāo)，但是忽視了數(shù)據(jù)歸集、清洗的重要性，大模型AI要行業(yè)落地，勢(shì)必牽涉到要將分散在終端、地域，跨協(xié)議、跨地域數(shù)據(jù)進(jìn)行處理，涉及到大數(shù)據(jù)組件Spark、以及Clip等工具的使用，這也需要適合的存儲(chǔ)系統(tǒng)提供支撐。這也是存儲(chǔ)系統(tǒng)選型重要的考察內(nèi)容。

對(duì)此，浪潮信息AS13000G7同樣表現(xiàn)出色，憑借非結(jié)構(gòu)化協(xié)議融合、富元數(shù)據(jù)管理等技術(shù)支撐，AS13000G7能夠?qū)崿F(xiàn)文件、對(duì)象、大數(shù)據(jù)、視頻協(xié)議互通，語(yǔ)義無(wú)損、性能一致，僅保存一份存儲(chǔ)池?cái)?shù)據(jù)，就可以支撐多種協(xié)議訪問(wèn)，避免了數(shù)據(jù)拷貝，實(shí)現(xiàn)最高50%數(shù)據(jù)存儲(chǔ)空間的節(jié)省。此外，其系統(tǒng)可靠性以及韌性同樣出色。試想，如果存儲(chǔ)系統(tǒng)韌性不足，導(dǎo)致訓(xùn)練中斷，則任何努力都將付之東流。對(duì)此，要求存儲(chǔ)系統(tǒng)提供主動(dòng)管理技術(shù)能力，對(duì)硬件、網(wǎng)絡(luò)、系統(tǒng)等進(jìn)行檢測(cè)，在系統(tǒng)亞健康就采取措施，進(jìn)行免數(shù)據(jù)遷移的快速微重構(gòu)，而這些都離不開(kāi)AI技術(shù)的加持。

劉希猛指出，無(wú)論采用什么樣的進(jìn)階路線和方法，生成式AI對(duì)行業(yè)的影響將是史無(wú)前例的，其中數(shù)據(jù)成為智能革命的核心動(dòng)力。圍繞著數(shù)據(jù)歸集、訓(xùn)練和推理，應(yīng)該構(gòu)建起強(qiáng)大的算力、存力基礎(chǔ)設(shè)施，會(huì)發(fā)揮事半功倍的效果，磨刀不誤砍柴工。對(duì)于浪潮信息而言，參加MLPerf Storage v1.0 AI存儲(chǔ)基準(zhǔn)測(cè)試也不過(guò)是小試牛刀，在展示技術(shù)水平和能力的同時(shí)，也加深了對(duì)于生成式AI技術(shù)的適配和了解，將繼續(xù)全力推動(dòng)AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化進(jìn)程。

浪潮信息已經(jīng)做好了充分的準(zhǔn)備！

萬(wàn)事俱備，不欠東風(fēng)！

songjy