宋家雨:未來存儲(chǔ)技術(shù)發(fā)展的趨勢(shì)是什么?其中,分層存儲(chǔ)是否仍然會(huì)成為未來企業(yè)級(jí)存儲(chǔ)技術(shù)發(fā)展的主要脈絡(luò)?
蔡耀祥:1) 隨著5G、AI大語言模型、自動(dòng)駕駛等各類新技術(shù)的融合,數(shù)據(jù)量也呈指數(shù)級(jí)激增,企業(yè)級(jí)用戶和云數(shù)據(jù)中心對(duì)于存儲(chǔ)解決方案提出了多樣化要求——既需要大容量,也需要高性能、更低的總體擁有成本(TCO)和功耗(PUE),除此之外,還有可擴(kuò)展性方面的需求。
面對(duì)這樣的發(fā)展趨勢(shì),企業(yè)不能僅依靠單一類型的存儲(chǔ)來解決多維度的需求。西部數(shù)據(jù)作為同時(shí)掌握HDD和Flash存儲(chǔ)技術(shù)的公司,憑借多年積累在HDD和SSD技術(shù)領(lǐng)域都不斷突破創(chuàng)新,針對(duì)不同存儲(chǔ)需求提供定制化解決方案:
●HDD技術(shù)領(lǐng)域,西部數(shù)據(jù)將延續(xù)采用現(xiàn)有的技術(shù),通過氦氣封裝、疊瓦式記錄(SMR)、能量輔助磁記錄(ePMR)、三階尋軌定位系統(tǒng)、OptiNAND、以及基于OptiNAND和SMR推出最新的UltraSMR新技術(shù),實(shí)現(xiàn)容量增長,繼續(xù)基于自身的技術(shù)優(yōu)勢(shì)擴(kuò)展創(chuàng)新。
●閃存技術(shù)領(lǐng)域,今年,西部數(shù)據(jù)攜手鎧俠成功推出了新一代218層3D閃存,在性能、密度和成本效益方面實(shí)現(xiàn)了重大飛躍。
2) 西部數(shù)據(jù)一直倡導(dǎo)分層存儲(chǔ),即根據(jù)數(shù)據(jù)的使用場景,將數(shù)據(jù)分為極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)五類,綜合采用HDD和SSD對(duì)數(shù)據(jù)進(jìn)行分層管理,從而同時(shí)優(yōu)化成本和效率。除此之外,根據(jù)使用場景和具體需求,企業(yè)也可以采用分區(qū)存儲(chǔ)、分解式存儲(chǔ)架構(gòu)等存儲(chǔ)策略。
宋家雨:機(jī)器學(xué)習(xí)、AIGC、廣義高性能計(jì)算等應(yīng)用場景對(duì)存儲(chǔ)的主要需求特點(diǎn)是什么?HDD技術(shù)在AIGC、高性能分布式存儲(chǔ)這樣的應(yīng)用場景,是否仍然會(huì)大有作為?
蔡耀祥:1) 機(jī)器學(xué)習(xí)、AIGC、廣義高性能計(jì)算這類應(yīng)用場景需要輸入海量的數(shù)據(jù)進(jìn)行訓(xùn)練以及運(yùn)行。Gartner預(yù)測2025年生成式AI產(chǎn)生的數(shù)據(jù)將占所有生成數(shù)據(jù)的10%(目前不到1%)[1]。在收集和篩選數(shù)據(jù)的階段,企業(yè)需要大容量的HDD作為存儲(chǔ)支持。而在訓(xùn)練和推理的階段,這些數(shù)據(jù)寫得少,讀得多,需要更高的吞吐量,以及對(duì)延遲、性能都有更高的要求,這一階段的存儲(chǔ)支持主要集中在高性能的SSD上。
2) AIGC、高性能分布式存儲(chǔ)這樣的應(yīng)用場景除了需要高性能、低延遲的SSD進(jìn)行訓(xùn)練,還需要大容量的HDD來存儲(chǔ)大量用以存儲(chǔ)訓(xùn)練的數(shù)據(jù)。此外,未來以AIGC為代表的先進(jìn)數(shù)字化應(yīng)用產(chǎn)生的以存為主,低頻使用,且價(jià)值不太明顯的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變?yōu)橐恍Q策性數(shù)據(jù)的熱度在不斷攀升,對(duì)這些數(shù)據(jù)的價(jià)值挖掘也將成為企業(yè)發(fā)展的關(guān)鍵性問題。針對(duì)這一場景,大容量的HDD在降低TCO和功耗上依然有著得天獨(dú)厚的優(yōu)勢(shì),可以高效可靠地進(jìn)行海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ),以確保在后續(xù)階段中發(fā)掘更多價(jià)值。
綜上所述,整個(gè)AI應(yīng)用場景需要綜合利用企業(yè)級(jí)HDD和SSD應(yīng)對(duì)不同的存儲(chǔ)需求。西部數(shù)據(jù)通過對(duì)客戶數(shù)據(jù)應(yīng)用的深入研究和溝通,可提供定制化的存儲(chǔ)解決方案,滿足他們?cè)贏IGC、高性能分布式存儲(chǔ)等方面的多樣化需求。
宋家雨:智慧城市和智慧交通項(xiàng)目,部署了大量的智慧視頻,積累了大量的數(shù)據(jù),從數(shù)據(jù)存儲(chǔ)的角度看,應(yīng)該如何盤活這些數(shù)據(jù)?如何降低數(shù)據(jù)的存儲(chǔ)成本?
蔡耀祥:1) 存儲(chǔ)和分析是面對(duì)智慧視頻場景下產(chǎn)生海量數(shù)據(jù)的兩大核心挑戰(zhàn)。人工智能技術(shù)可以對(duì)大量視頻數(shù)據(jù)進(jìn)行分析處理,并挖掘數(shù)據(jù)價(jià)值,因此其重要性更加凸顯。西部數(shù)據(jù)在智慧視頻領(lǐng)域擁有WD Purple HDD、WD Purple Pro HDD以及WD Purple SC QD101 microSD存儲(chǔ)卡產(chǎn)品系列,提供從邊緣設(shè)備到云端的完整產(chǎn)品系列。其中,WD Purple Pro HDD產(chǎn)品線為新一代視頻記錄和分析服務(wù)器以及存儲(chǔ)系統(tǒng)提供了更卓越的性能、更強(qiáng)的工作負(fù)載能力與更穩(wěn)定的可靠性,并且提供了單盤高達(dá)22TB的容量,滿足大容量存儲(chǔ)需求。
2) 單盤容量更高的HDD,可以在存儲(chǔ)大量數(shù)據(jù)的同時(shí),幫助企業(yè)降低整體擁有成本和能耗。高性價(jià)比的大容量HDD是西部數(shù)據(jù)一直以來關(guān)注的方向。西部數(shù)據(jù)擁有高達(dá)26TB容量的企業(yè)級(jí)Ultrastar SMR HDD系列,以及用于智慧視頻高達(dá)22TB容量的WD Purple Pro系列,能夠幫助用戶滿足大容量存儲(chǔ)、低成本的需求。
宋家雨:為什么西部數(shù)據(jù)始終把大容量作為HDD設(shè)計(jì)技術(shù)的發(fā)展方向?
蔡耀祥:當(dāng)今,全球絕大部分?jǐn)?shù)據(jù)還是存儲(chǔ)在HDD上,HDD依舊是企業(yè)級(jí)數(shù)據(jù)中心、云服務(wù)提供商(CSP)以及超大規(guī)模云業(yè)務(wù)領(lǐng)域首選的數(shù)據(jù)存儲(chǔ)解決方案。該技術(shù)在TCO上的優(yōu)勢(shì)目前還不可替代,對(duì)于數(shù)據(jù)中心而言尤為如此,更大單盤容量的HDD可以在不增加實(shí)際占地面積的情況下有效擴(kuò)展容量,從而降低每TB所需的功率、功耗以及冷卻成本。
●舉例來說,如果使用22TB的HDD而非16TB的HDD來存儲(chǔ)2PB的數(shù)據(jù),所需要的服務(wù)器數(shù)量可以減少27%,每TB所需能耗也將降低26%,這意味著由此而減少的服務(wù)器、網(wǎng)絡(luò)設(shè)備、機(jī)架、電力、冷卻和占地空間會(huì)給基礎(chǔ)設(shè)施的采購成本以及維護(hù)成本帶來非常多的效益。
西部數(shù)據(jù)也一直在推動(dòng)該領(lǐng)域的技術(shù)發(fā)展,比如UltraSMR、OptiNAND和ePMR等。所有這些都是為了增加區(qū)域密度,提供更可靠、容量更高、功率更低的HDD,幫助企業(yè)級(jí)用戶和云數(shù)據(jù)中心采用更可靠、低成本、低能耗的方式存儲(chǔ)更多數(shù)據(jù),以進(jìn)一步挖掘數(shù)據(jù)價(jià)值。
宋家雨:未來HDD技術(shù)發(fā)展的主要技術(shù)路徑有哪些?
蔡耀祥:西部數(shù)據(jù)將延續(xù)采用現(xiàn)有的技術(shù),通過氦氣封裝、疊瓦式記錄(SMR)、能量輔助磁記錄(ePMR)、三階尋軌定位系統(tǒng)、OptiNAND、以及創(chuàng)新的UltraSMR技術(shù),不斷實(shí)現(xiàn)容量和密度的擴(kuò)展。西部數(shù)據(jù)也將基于自身的技術(shù)優(yōu)勢(shì)不斷創(chuàng)新,并對(duì)市場上的創(chuàng)新技術(shù)時(shí)刻保持關(guān)注。
宋家雨:西部數(shù)據(jù)主要的技術(shù)選擇和重點(diǎn),以及技術(shù)優(yōu)勢(shì)?
蔡耀祥:隨著云服務(wù)市場的蓬勃發(fā)展和不斷細(xì)分,企業(yè)級(jí)用戶和云數(shù)據(jù)中心既需要大容量,也需要高性能,還需要降低TCO,為當(dāng)下企業(yè)級(jí)HDD和SSD提出了多樣化的需求,同時(shí)也為市場帶來創(chuàng)新技術(shù)和產(chǎn)品的更多機(jī)遇。
1) 針對(duì)HDD領(lǐng)域,西部數(shù)據(jù)把很多存儲(chǔ)技術(shù),包括能量輔助磁記錄(ePMR)、疊瓦式磁記錄(SMR)、最新的OptiNAND和UltraSMR技術(shù)融入到大容量HDD中,來滿足云服務(wù)商對(duì)存儲(chǔ)密度、訪問時(shí)間、總體擁有成本、高可靠性、性能、容量、可擴(kuò)展性等方面的不同需求。
●產(chǎn)品層面,西部數(shù)據(jù)可提供大容量HDD,例如通過OptiNAND提升面密度的單盤容量達(dá)到22TB的Ultrastar DC HC570;以及采用了UltraSMR技術(shù)的26TB Ultrastar DC HC670 UltraSMR HDD。
2) 針對(duì)SSD領(lǐng)域,其應(yīng)用場景將更為復(fù)雜。在企業(yè)級(jí)SSD領(lǐng)域,西部數(shù)據(jù)擁有三大核心技術(shù)優(yōu)勢(shì),即集成完全自主的NAND Flash、先進(jìn)的SSD控制器和高性能固件于一體,并不斷推陳出新,帶來低延時(shí)、高性能,以及更高的可擴(kuò)展性的SSD解決方案。西部數(shù)據(jù)聯(lián)合鎧俠于今年成功推出了新一代的218層3D閃存,利用具有四個(gè)平面的1Tb TLC(三級(jí)單元)和QLC(四級(jí)單元),采用創(chuàng)新的橫向收縮技術(shù),將位密度提高了約50%。NAND I/O速度超過 3.2Gb/s,比上一代產(chǎn)品提高了約60%,同時(shí)寫入性能和讀取延遲方面改善了約20%,提供了更高的性能和可用性。
●產(chǎn)品層面,西部數(shù)據(jù)提供包括Ultrastar DC SN840、SN650、SN655等針對(duì)不同需求的企業(yè)級(jí)SSD產(chǎn)品,滿足豐富多樣的應(yīng)用需求。其中,2023年發(fā)布的企業(yè)級(jí)SSD產(chǎn)品Ultrastar DC SN655是一款高性價(jià)比的雙端口、大容量PCIe Gen 4.0 NVMe SSD,基于西部數(shù)據(jù)BiCS5 TLC 3D NAND技術(shù),將容量從3.84TB擴(kuò)展到15.36TB,專為需要高性能、大容量的企業(yè)級(jí)存儲(chǔ)客戶設(shè)計(jì),適用于如分解存儲(chǔ)、對(duì)象存儲(chǔ)、存儲(chǔ)服務(wù)器和其他任務(wù)關(guān)鍵型應(yīng)用程序和工作負(fù)載。
總結(jié)來看,西部數(shù)據(jù)是一家擁有HDD和Flash兩種主流存儲(chǔ)技術(shù)的公司,并不斷基于此進(jìn)行技術(shù)和產(chǎn)品的擴(kuò)展,為整個(gè)存儲(chǔ)行業(yè)和生態(tài)提供豐富的產(chǎn)品線,賦能各個(gè)領(lǐng)域。
宋家雨:NVMe存儲(chǔ)訪問協(xié)議的出現(xiàn),為追逐極致的SSD性能創(chuàng)造了條件,但是NVMe沒有辦法兼容磁盤技術(shù),未來在存儲(chǔ)訪問協(xié)議上就出現(xiàn)了NVMe、SCSI兩條道路并存的局面,也帶來管理上復(fù)雜性,未來會(huì)如何演變?
蔡耀祥:1)隨著用戶對(duì)海量數(shù)據(jù)快速響應(yīng)時(shí)間的要求越來越高,云服務(wù)提供商和原始設(shè)備制造商的數(shù)據(jù)中心架構(gòu)師們正在進(jìn)一步加大對(duì) NVMe和 NVMe-oF的投入,并將其納入自己的 IT 基礎(chǔ)架構(gòu)。NVMe專為高性能和非易失性存儲(chǔ)介質(zhì)而設(shè)計(jì),與 SAS 等傳統(tǒng)協(xié)議相比,它能以更小的基礎(chǔ)設(shè)施占用空間處理繁重的的應(yīng)用工作負(fù)載,幫助企業(yè)在數(shù)字內(nèi)容不斷增長的當(dāng)下,降低總體擁有成本、實(shí)現(xiàn)業(yè)務(wù)增長。NVMe-oF 則通過在服務(wù)器之間共享閃存資源,進(jìn)一步發(fā)揮了 NVMe 的性能優(yōu)勢(shì),從而提高整體的性能、可用性和靈活性。我們將看到通過NVMe-oF分解和共享閃存以提高存儲(chǔ)資源的性能、可用性和靈活性將成為一個(gè)逐漸增長的趨勢(shì)。今年夏天,西部數(shù)據(jù)在 NVMe 和 NVMe-oF 領(lǐng)域進(jìn)行了創(chuàng)新拓展,推出了增強(qiáng)型OpenFlex Data24 3200 NVMe-oF JBOF/存儲(chǔ)平臺(tái)、新一代RapidFlex A2000和C2000 NVMe-oF高速網(wǎng)絡(luò)架構(gòu)設(shè)備(FBD)和全新 Ultrastar DC SN655 PCIe Gen 4.0雙端口 NVMe SSD。這些產(chǎn)品能夠以規(guī)模化的卓越性能滿足持續(xù)變化的工作負(fù)載需求,幫助企業(yè)級(jí)、云數(shù)據(jù)中心客戶實(shí)現(xiàn)面向未來的存儲(chǔ)戰(zhàn)略。通過這種新一代、變革性的共享閃存方式,西部數(shù)據(jù)致力于為企業(yè)的業(yè)務(wù)帶來更大的價(jià)值。
2)西部數(shù)據(jù)提供針對(duì)不同協(xié)議的存儲(chǔ)產(chǎn)品和解決方案,對(duì)市場上出現(xiàn)的新協(xié)議和新技術(shù)也時(shí)刻保持關(guān)注,為企業(yè)的存儲(chǔ)基礎(chǔ)設(shè)施建設(shè)提供豐富的選擇。
宋家雨:隨著大容量HDD技術(shù)的應(yīng)用,應(yīng)該如何應(yīng)對(duì)HDD損壞所引發(fā)的數(shù)據(jù)恢復(fù)速度慢的問題?
蔡耀祥:西部數(shù)據(jù)致力于提供高品質(zhì)和高可靠性的產(chǎn)品,力求通過持續(xù)創(chuàng)新和嚴(yán)格品控將產(chǎn)品的故障率降到更低,并為產(chǎn)品提供配套的有限質(zhì)保服務(wù)。此外,我們也積極開發(fā)創(chuàng)新技術(shù)來保證緊急情況下數(shù)據(jù)的可保障性,例如搭載了OptiNAND技術(shù)的HDD產(chǎn)品擁有ArmorCache寫緩存數(shù)據(jù)安全功能,為客戶提供寫緩存啟用(WCE)的性能和寫緩存禁用(WCD)的數(shù)據(jù)保護(hù),在緊急斷電(EPO)的情況下提升數(shù)據(jù)保護(hù)能力。在發(fā)生EPO事件時(shí),相比上一代HDD,OptiNAND還可以安全地刷新和保留近50倍的關(guān)鍵硬盤元數(shù)據(jù)。這降低了緊急斷電(EPO)期間發(fā)生長尾故障模式的可能性,并降低了硬盤故障或數(shù)據(jù)損壞的發(fā)生率。
宋家雨:通過大量HDD并行提高系統(tǒng)性能的存儲(chǔ)系統(tǒng)設(shè)計(jì)方式,這個(gè)方式未來會(huì)如何演變?在HDD容量、數(shù)量之間,怎樣才是更好的取舍?
蔡耀祥:數(shù)據(jù)中心或服務(wù)器通常會(huì)配備 RAID 卡以提高性能,但相應(yīng)地,成本也隨之上升。隨著數(shù)據(jù)量呈指數(shù)級(jí)增長,數(shù)據(jù)中心對(duì)存儲(chǔ)容量的需求也在持續(xù)增長。而西部數(shù)據(jù)長期以來不斷在探索的就是提升單盤HDD的容量,通過這種方式,可在不增加額外機(jī)架空間、功耗和冷卻成本的情況下提高存儲(chǔ)容量。2021年,西部數(shù)據(jù)發(fā)布了OptiNAND技術(shù),通過將閃存和HDD融合,在提升磁道密度(TPI)的同時(shí),也進(jìn)一步提升了HDD的性能和可靠性,通過這樣的有機(jī)結(jié)合,幫助企業(yè)在降低TCO的同時(shí),提升HDD存儲(chǔ)系統(tǒng)的整體性能。未來,西部數(shù)據(jù)將繼續(xù)憑借OptiNAND、以及基于OptiNAND和SMR推出的創(chuàng)新UltraSMR技術(shù),實(shí)現(xiàn)容量增長,不斷基于自身的技術(shù)優(yōu)勢(shì)擴(kuò)展創(chuàng)新。
此外,針對(duì)不同的使用場景,會(huì)產(chǎn)生性能、TCO和功耗上的不同需求,依靠單一產(chǎn)品無法全部滿足。西部數(shù)據(jù)通過針對(duì)超大規(guī)??蛻舻臄?shù)據(jù)應(yīng)用場景的深度研究和溝通,為他們提供定制化的HDD及SSD存儲(chǔ)解決方案。
宋家雨:您預(yù)計(jì)SSD、HDD會(huì)在多長時(shí)間內(nèi)并存?它們各自適合的角色定位是什么?
蔡耀祥:在可預(yù)見的未來,HDD和SSD將繼續(xù)共存,因?yàn)樗鼈兡転椴煌墓ぷ髫?fù)載和使用場景提供各自特定的價(jià)值和優(yōu)勢(shì),如容量、吞吐量、使用壽命、功耗、成本、性價(jià)比、可擴(kuò)展性等。因此,用戶需要從不同方向、針對(duì)不同場景優(yōu)化存儲(chǔ)產(chǎn)品組合。
西部數(shù)據(jù)一直倡導(dǎo)分層數(shù)據(jù)管理,將數(shù)據(jù)分為五類,即極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)。極熱數(shù)據(jù)就是指數(shù)據(jù)需要特別高頻的讀寫、低延時(shí)和更多的交互數(shù)據(jù)。熱存儲(chǔ)需要實(shí)現(xiàn)低延時(shí)、高性能,比如現(xiàn)在非常熱門的自動(dòng)駕駛。依此類推到極冷數(shù)據(jù),包括金融、醫(yī)療數(shù)據(jù)等,這些需要長期存儲(chǔ)的,很少情況下會(huì)被調(diào)用的數(shù)據(jù)。
● HDD是溫?cái)?shù)據(jù)、冷數(shù)據(jù)、極冷數(shù)據(jù)存儲(chǔ)的首選。西部數(shù)據(jù)開發(fā)出閃存增強(qiáng)型HDD的 OptiNAND 技術(shù)。基于該技術(shù),西部數(shù)據(jù)的22TB Ultrastar DC HC570 CMR HDD將存儲(chǔ)容量、性能和可靠性提升至新的高度。除此之外,西部數(shù)據(jù)更是通過將 OptiNAND 技術(shù)與采用 HDD 系統(tǒng)級(jí)硬件優(yōu)勢(shì)的專有固件相結(jié)合而研發(fā)出了UltraSMR 技術(shù),并引入了大數(shù)據(jù)塊編碼和先進(jìn)的糾錯(cuò)算法,增加了每英寸磁道數(shù)(TPI),以實(shí)現(xiàn)更高的容量,也推出了26TB Ultrastar DC HC670 UltraSMR HDD,更進(jìn)一步幫助降低TCO。
● 對(duì)于極熱數(shù)據(jù)和熱數(shù)據(jù)來說,SSD是好的選擇之一。西部數(shù)據(jù)的企業(yè)級(jí)SSD擁有三大核心技術(shù)優(yōu)勢(shì),即集成完全自主的NAND Flash、先進(jìn)的SSD控制器和高性能固件于一體,這種縱向集成的能力能夠讓SSD實(shí)現(xiàn)性能和穩(wěn)定性的極致優(yōu)化,確保SSD生命周期穩(wěn)定的I/O一致性。西部數(shù)據(jù)成功在今年攜手鎧俠推出了第八代218層3D閃存,在性能、密度和成本效益方面實(shí)現(xiàn)了重大飛躍。產(chǎn)品層面,西部數(shù)據(jù)也提供了SN840、SN650、SN655等針對(duì)不同需求的企業(yè)級(jí)SSD產(chǎn)品,滿足豐富多樣的應(yīng)用需求。
西部數(shù)據(jù)擁有獨(dú)特的設(shè)計(jì)、調(diào)試和優(yōu)化能力,開發(fā)、制造并銷售的內(nèi)容囊括了從NAND、SSD、HDD和平臺(tái)在內(nèi)的一系列品類,提供數(shù)據(jù)平臺(tái)、連接平臺(tái)、技術(shù)產(chǎn)品等豐富的產(chǎn)品組合,充分地滿足在當(dāng)下和未來以數(shù)據(jù)為中心的環(huán)境,對(duì)性能、可靠性、總體擁有成本和可持續(xù)性的需求。