浪潮信息存儲產(chǎn)品線副總經(jīng)理劉希猛表示:“當前,各個廠商紛紛投資硬件,訓練自己的大模型,國內(nèi)已發(fā)布的生成式AI模型超過了100個,‘百模爭秀’的格局初現(xiàn),云廠商和運營商對IT硬件的投資往往是成千上萬節(jié)點規(guī)模,而行業(yè)大廠投資在幾百節(jié)點規(guī)模,在建設(shè)布局時考慮到AI大模型對高性能AI服務器、高吞吐并行存儲系統(tǒng)、低延遲RDMA網(wǎng)絡的嚴苛需求,將數(shù)據(jù)中心的算力、全閃、混閃按照1:1:1黃金比例建設(shè),可實現(xiàn)用戶整體投入最小化?!?/p>

“一臺8卡最先進GPU服務器后端配置的存儲節(jié)點寫帶寬要求20GB/s,讀帶寬要求40GB/s,通常一臺全閃存儲節(jié)點的寫帶寬是20GB/s,讀帶寬接近30GB/s,可得到計算節(jié)點與全閃節(jié)點的數(shù)量比例接近1:1。按著數(shù)據(jù)使用規(guī)律,通常熱數(shù)據(jù)和溫冷數(shù)據(jù)的容量配置約為1:10,即全閃單節(jié)點容量為50~100TB,混閃節(jié)點容量為500~1000TB,全閃節(jié)點與混閃節(jié)點的數(shù)量比例接近1:1。” 劉希猛說。

“我們建議用戶整體規(guī)劃布局,避免在存儲擴容、數(shù)據(jù)遷移和數(shù)據(jù)管理方面隨著業(yè)務的增加而力不從心,因此按照算力、全閃、混閃節(jié)點數(shù)量配比1:1:1來設(shè)計規(guī)劃和部署是目前的最優(yōu)方案?!?劉希猛繼續(xù)補充說。

 分布式存儲產(chǎn)品線總經(jīng)理姜樂果表示:AS15000G7是在AS13000基礎(chǔ)上的升級迭代,如果說AS13000的特點是極致融合,那么AS15000G7的特點則是極致性能。

AS15000G7采用高吞吐并行存儲系統(tǒng),通過GDS、RDMA技術(shù)縮短I/O路徑;通過智能元數(shù)據(jù)管理,提前緩存用戶數(shù)據(jù)和文件系統(tǒng)元數(shù)據(jù),顯著提升數(shù)據(jù)訪問和檢索速度;獨有的智能網(wǎng)絡優(yōu)化技術(shù),可實現(xiàn)多個子網(wǎng)與指定目的地通信,每對守護進程之間建立多個TCP連接并通信,顯著提升網(wǎng)絡端口并發(fā)能力,實現(xiàn)傳輸端口帶寬翻數(shù)倍,時延縮短50%以上,小文件級傳輸?shù)臅r延可降至毫秒級。

以GDS(GPU Direct Storage)為例,能夠?qū)PU和外部數(shù)據(jù)存儲的帶寬提升2~8倍,當GPU并發(fā)度增加的時候,GDS仍然能夠保持穩(wěn)定的低延遲輸出,非常適用于AIGC等AI應用場景的應用。通過對于GDS的支持,GPU直接訪問存儲,從而避免了傳統(tǒng)設(shè)計應用中,CPU調(diào)度帶來的訪問延遲??梢哉f,GDS也好,RDMA也好,對于新的訪問協(xié)議的支持,已經(jīng)成為了分布式文件系統(tǒng)的基本功,也是追求極致性能的必由之路。

AS15000G7提供了自動化的數(shù)據(jù)分層和遷移的功能,從而為滿足AIGC場景應用提供了更好的支持,因為除了高速并行訪問能力之外,AIGC訓練、推理中的中間結(jié)果數(shù)據(jù)需要存儲和保留,很多都是以冷數(shù)據(jù)形式呈現(xiàn),也更加適合混閃陣列的定位,這也是浪潮信息提出全閃、混閃1;1的原因。AS15000G7在產(chǎn)品設(shè)計上充分考慮到了這一點,提供了通用型、容量型和性能型的產(chǎn)品類型。通過基于閃存、磁盤、磁帶、光盤的靈活配置,可最大程度降低用戶的整體投入。

AS15000G7新品同時搭載了AIStation調(diào)度平臺和InView數(shù)據(jù)管理平臺,通過對AI服務器、網(wǎng)絡、存儲的智能運維,提高多租戶管理、資源分配、數(shù)據(jù)管理分析的能力和水平。與此同時,AS15000G7保留了多協(xié)議實時互訪互通和系統(tǒng)扁平擴展的能力,從而能夠?qū)崿F(xiàn)對于多元異構(gòu)非結(jié)構(gòu)化數(shù)據(jù),如文本、圖片、音頻、視頻等,以及文件、對象、大數(shù)據(jù)以及視頻文件的高效共享。

“1:1:1,也許這樣配置比較奢侈,很少有用戶能夠達到這樣的配置,那是因為沒有考慮到混合模態(tài)、多模態(tài)訓練的需要?!?劉希猛說。

都說未雨綢繆,這應該是AS15000G7的最好寫照。大軍未動,糧草先行,1:1:1,應該是AIGC爭先的明智選擇。

分享到

songjy

相關(guān)推薦