在 AI 訓(xùn)推過(guò)程中,尤其是在處理如醫(yī)療影像、高清圖片、視頻等大型數(shù)據(jù)時(shí),極高的順序讀取帶寬配合高吞吐量的網(wǎng)絡(luò)可以確保數(shù)據(jù)的海量吞吐,確保GPU 等AI 芯片性能得到充分利用。

KVCache 負(fù)載測(cè)試:支撐高頻訪(fǎng)問(wèn),穩(wěn)定超低延遲

針對(duì)當(dāng)前流行的大規(guī)模推理業(yè)務(wù),我們還進(jìn)行了大集群下KVCache 負(fù)載模擬。

測(cè)試顯示:在百萬(wàn)級(jí)請(qǐng)求QPS 下,SSD 能穩(wěn)定提供單次讀取延遲小于 100 微秒的表現(xiàn)順序讀取緩存頁(yè)命中率高,帶寬使用高效,沒(méi)有明顯抖動(dòng)為AI 推理系統(tǒng)大幅降低了整體延遲。注:受限于集群節(jié)點(diǎn)數(shù)量,圖表顯示內(nèi)容為多輪測(cè)試數(shù)據(jù)合集。

AI 在實(shí)時(shí)推理環(huán)節(jié),穩(wěn)定以及極小的延遲是大模型快速檢索數(shù)據(jù)進(jìn)行預(yù)測(cè)的基礎(chǔ)。

TCO 優(yōu)勢(shì)分析:D5-P5336 讓AI 集群更具規(guī)模效益

在大規(guī)模服務(wù)器集群中,存儲(chǔ)設(shè)備的TCO(整體擁有成本)至關(guān)重要。D5-P5336 在這方面表現(xiàn)非常突出:

1,單盤(pán)超大容量,節(jié)省服務(wù)器與機(jī)架空間單盤(pán)可達(dá) 61.44TB 及 122.88TB 容量,同TLC SSD JBOF配置相比節(jié)省高達(dá)4倍的存儲(chǔ)占用空間,同 HDD JBOD 相比節(jié)省高達(dá)8倍的存儲(chǔ)占用空間。相同存儲(chǔ)需求下,服務(wù)器數(shù)量將大幅減少全部采用QLC存儲(chǔ)的服務(wù)器數(shù)量比采用HDD+TLC的數(shù)量將大幅減少

2,更優(yōu)價(jià)格,每TB 成本更低QLC NAND 架構(gòu)大幅降低單位成本

3,合理耐久度設(shè)計(jì)官方額定 0.6 DWPD在推理緩存、順序讀取負(fù)載下,完全滿(mǎn)足企業(yè)級(jí)生命周期要求

綜合來(lái)看,使用D5-P5336 可以讓每PB 存儲(chǔ)整體TCO 降低超過(guò) 35%,在超大規(guī)模部署中性?xún)r(jià)比優(yōu)勢(shì)巨大。

PCIe 5.0 的前景展望:

性能想象空間巨大目前D5-P5336 采用的是 PCIe 4.0 接口,即便如此已達(dá)到驚人的讀取帶寬。展望未來(lái),隨著PCIe 5.0 大容量QLC SSD 普及:

單盤(pán)理論帶寬將翻倍增長(zhǎng)

整體吞吐瓶頸將進(jìn)一步被突破

QLC 優(yōu)勢(shì)會(huì)被進(jìn)一步放大,特別是在超大模型推理場(chǎng)景

可以預(yù)見(jiàn),基于PCIe 5.0 的新一代D5 系列產(chǎn)品,將成為新一輪AI 基礎(chǔ)設(shè)施升級(jí)的重要力量。

總結(jié)

QLC 不只是性?xún)r(jià)比高,更能在合理場(chǎng)景下發(fā)揮出色性能:

Solidigm D5 系列順序讀取吞吐接近線(xiàn)性擴(kuò)展;

DeepSeek 3FS 環(huán)境下驗(yàn)證了高可用與低延遲能力;

超大容量帶來(lái)的TCO 優(yōu)勢(shì),讓AI 集群部署更具規(guī)模效益;

隨著人工智能的發(fā)展和技術(shù)突破,存儲(chǔ)性能將迎來(lái)新爆發(fā)。

Solidigm D5 服務(wù)器系列NVME SSD 硬盤(pán),不只是容量革命,更是下一代AI 基礎(chǔ)設(shè)施的中堅(jiān)力量!

分享到

zhupb

相關(guān)推薦