其中,數據攝取階段主要看順序寫入性能,準備階段主要看順序讀取性能,訓練階段關注隨機讀取性能,以及檢查點創(chuàng)建和恢復所需的讀寫性能,推理階段主要看隨機讀取能力。

在以上場景中,Solidigm的D5-P5430相較于24TB的SATA HDD的性能有10倍甚至4500倍的差距,是訓練過程中的必選方案。

Solidigm的QLC產品技術非常成熟,它所提供的三大系列QLC產品D5-P5430、D5-P5336、D5-P5316各有特色,適用于不同的應用場景。

P5430基于4KB IU,與TLC幾乎可以無縫切換;P5336和P5316則基于較大的數據塊,需要一定的操作才能更好地發(fā)揮QLC的優(yōu)勢。在容量方面,P5336可支持高達61.44TB,并提供多種接口選擇,而P5316和P5430則支持高達30.72TB的容量。

具體到AI場景上,如果用戶想要最大化XPU利用率,可以使用SLC的P5810作為緩存,加上CSAL軟件,配合QLC的P5336使用,既能提供大容量又有性能保證。

想要均衡的讀寫性能和成本,則可以選擇P5520和P5430。想要低成本的方案,則可以選擇P5336,它特別適合大塊數據的順序讀取和寫入應用場景。

金山云原有的數據處理方案KS3使用純HDD,加載40TB原始數據集需要535分鐘完成一次數據準備。引入Solidigm SSD解決方案后,數據準備時間縮短至11分鐘,提升了48.6倍。

正睿科技協(xié)助研究所構建大容量數據湖,面臨著讀取性能低、部署時間長和存儲成本高等挑戰(zhàn)。通過采用SolidigmD5-P5336,正睿科技構建了高密度存儲節(jié)點,實現(xiàn)單節(jié)點100萬IOPS和700TB存儲空間,顯著節(jié)省了空間和功耗。

61.44TB大容量企業(yè)級SSD,國內外用戶接受度有所不同

未來的數據量一定還會持續(xù)增長,隨著用于AI訓練的數據集以及整體數據規(guī)模的不斷增長,對于大容量存儲的需求也肯定會越來越高。這也會讓擁有更大容量,更高密度的SSD更受歡迎。

前不久,戴爾科技發(fā)布了新一代的NAS文件存儲系統(tǒng)PowerScale F910就宣布計劃采用61TB的QLC SSD,考慮到市場上僅有Solidigm推出了61TB的QLC SSD,極有可能就是用的這款Solidigm D5-P5336。

一些主流存儲廠商也開始支持超大容量SSD,似乎預示著大容量磁盤更容易被普遍接受了。然而,倪錦峰介紹稱,目前國外用戶比較青睞61.44TB這種容量的企業(yè)級SSD,而國內企業(yè)用戶則傾向于選擇其它容量如30TB的盤。

由于某些區(qū)域或時間段內,一些國外企業(yè)無法獲得足夠的電力預算,所以,只能選擇功耗更低的QLC SSD。同時,傳統(tǒng)機房功率有限,難以支持高功耗的GPU系統(tǒng),但由于機房改造成本太高,用SSD替代HDD來降低功耗反而是更經濟的選擇。

此外,HDD的年化失效率較高,容量帶來更多故障風險,需要更多失效管理,數據恢復成本高。因此,從運營角度看,使用SSD替換HDD也可以節(jié)省大量成本。因此,很多國外企業(yè)選擇更大容量的SSD。

與國外一些地區(qū)的用戶不同的是,國內企業(yè)用戶在當前階段更側重于GPU的投資。由于GPU在AI計算中的重要性,國內企業(yè)在這方面投入了大量資源,對存儲的關注還有待提高。

而且,國內企業(yè)對功耗和空間的要求相對沒有國外那么高。在國內的數據中心環(huán)境中,功耗和空間雖然也是考慮因素,但相對來說沒有那么緊迫。

國內在AI存儲架構和配置方面還在不斷完善過程中。國內客戶正在逐步接受并研究大容量SSD的部署,這也需要生態(tài)系統(tǒng)的準備。硬軟件生態(tài)系統(tǒng)還需要針對大容量SSD做相應地調整和優(yōu)化。

倪錦峰也表示,非常希望看到越來越多的國內客戶采用大容量SSD,以進一步推動AI等技術的發(fā)展。

分享到

zhupb

相關推薦