2022年,全球生成式AI市場規(guī)模為101.4億美元,預(yù)計(jì)到2030年將達(dá)到1159億美元,復(fù)合年增長率 (CAGR) 為35.6%。

但不論AI應(yīng)用如何發(fā)展,都要依賴于大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的“投喂”。因此,生成式AI模型會(huì)生成大量文本、圖像、視頻等。簡單來說,數(shù)據(jù)分析處理千兆字節(jié)的信息,機(jī)器學(xué)習(xí)將數(shù)據(jù)分析推向PB級(jí)(1PB約為5000億頁標(biāo)準(zhǔn)輸入文本),而生成式AI則把數(shù)字拉到了數(shù)百PB甚至更多。

AI對存儲(chǔ)的需求也在不斷變化。存儲(chǔ)廠商開始對AI需求劃分優(yōu)先級(jí),要容量,要性能,要數(shù)據(jù)傳輸速度,還有AIOps等等。比如:

1、推動(dòng)DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)市場發(fā)展。AI訓(xùn)練和推理過程中需要頻繁訪問和處理數(shù)據(jù),對內(nèi)存容量和帶寬提出了更高要求。

隨著半導(dǎo)體技術(shù)的不斷發(fā)展,DRAM的制程技術(shù)快速發(fā)展。目前如三星、海力士和美光等已經(jīng)進(jìn)入1Znm(10-14nm)制程,并預(yù)計(jì)將進(jìn)一步縮小至1αnm(10nm以下)制程。這將顯著提升DRAM的存儲(chǔ)密度和性能,同時(shí)降低功耗和成本。DDR5作為DRAM的新一代標(biāo)準(zhǔn),已經(jīng)開始在市場上廣泛應(yīng)用。

2、還有隨著AI模型對數(shù)據(jù)傳輸速度的要求提高,PCIe接口也在不斷迭代。PCIe 5.0和即將到來的PCIe 6.0提供了更高的數(shù)據(jù)傳輸速率來滿足AI應(yīng)用的需求。例如,PCIe 5.0的接口帶寬性能在某些應(yīng)用中已經(jīng)可以翻倍,滿足AI對高帶寬的需求。目前,市場上的主流廠商們已經(jīng)在發(fā)售PCIe 5.0 SSD。

3、推動(dòng)CXL技術(shù)發(fā)展。CXL通過提供高帶寬、低延遲的連接,優(yōu)化數(shù)據(jù)中心內(nèi)存,使其能夠更好地適應(yīng)AI時(shí)代的需求。生成式AI模型的應(yīng)用不斷發(fā)展,對計(jì)算資源有著巨大的需求,尤其是在訓(xùn)練和推理過程中。CXL技術(shù)通過實(shí)現(xiàn)CPU和加速器之間的內(nèi)存資源共享,推動(dòng)異構(gòu)計(jì)算的普及,提高AI模型訓(xùn)練和推理的速度。

4、還有QLC(四層單元)和TLC(三層單元)NAND閃存因其較高的存儲(chǔ)密度和相對較低的成本,成為生成式AI應(yīng)用的理想選擇。QLC NAND市場規(guī)模預(yù)計(jì)將從2023年的12.9%增長到2027年的46.4%,接近TLC NAND的市場份額 。QLC NAND提供的更大容量密度使其在企業(yè)級(jí)SSD市場中尤為受歡迎,尤其是在需要大量數(shù)據(jù)存儲(chǔ)的AI服務(wù)器環(huán)境中。

5、云文件服務(wù)也來活了,服務(wù)商們用存儲(chǔ)在云上的數(shù)據(jù)集來投喂大模型,但數(shù)據(jù)需要從其底層對象庫實(shí)現(xiàn)更快地訪存,類似AWS、Azure和谷歌用類似 GPUDirect的方式把數(shù)據(jù)從S3和Azure Blob存儲(chǔ)傳送到GPU實(shí)例里。

6、數(shù)據(jù)保護(hù)和安全方面,連接聊天機(jī)器人接口到企業(yè)設(shè)備使用時(shí)要保護(hù)數(shù)據(jù)集和識(shí)別漏洞。特定領(lǐng)域的聊天機(jī)器人可以檢查組織的攻擊面并確定保護(hù)它的操作。

一些安全廠商已經(jīng)開始通過聊天機(jī)器人等AI技術(shù)讓它們更有效地檢測和響應(yīng)惡意軟件及處理用戶交互。

總之,AI的興起正在推動(dòng)存儲(chǔ)市場的發(fā)展,同時(shí)也促使存儲(chǔ)技術(shù)不斷創(chuàng)新以滿足AI應(yīng)用的需求。隨著AI技術(shù)的不斷進(jìn)步,我們可以預(yù)見存儲(chǔ)市場將繼續(xù)擴(kuò)大,為AI應(yīng)用提供更強(qiáng)大的支持。2024年11月8日,歡迎大家來到北京,來到中國數(shù)據(jù)與存儲(chǔ)峰會(huì)現(xiàn)場,走進(jìn)AI+存儲(chǔ)協(xié)同發(fā)展論壇,了解更多關(guān)于AI與存儲(chǔ)的新變化。

分享到

崔歡歡

相關(guān)推薦