2018年,清華大學(xué)研制出新型超寬視場高分辨率實時顯微成像儀器(RUSH)實現(xiàn)了重大突破,將活體動物腦神經(jīng)觀測數(shù)據(jù)通量由1000萬像素/秒提升至50億像素/秒,數(shù)據(jù)通量是全球第二大高通量顯微儀器2p-RAM的500多倍,對提升人類認(rèn)知水平、腦疾病診治和人工智能技術(shù)發(fā)展具有重大戰(zhàn)略意義。
FAST和RUSH面臨一個共同的問題:海量數(shù)據(jù)的爆炸式增長。以中國天眼為例,每秒采集的數(shù)據(jù)量高達(dá)38GB,每年新增數(shù)據(jù)量達(dá)到數(shù)十PB。
所幸,他們都遇到了浪潮存儲、化解了PB級存儲困擾——繼2019年采用了浪潮存儲的高性能和高密度兩種分布式存儲節(jié)點(diǎn)之后,2021年中國天眼再次采用浪潮存儲分布式存儲高密度節(jié)點(diǎn),采用業(yè)界首個“多合一”極簡架構(gòu),在4U空間內(nèi)承載最高1PB數(shù)據(jù),可靈活、在線擴(kuò)展容量和性能,最高可擴(kuò)展至5120節(jié)點(diǎn),滿足中國天眼未來幾年乃至十幾年的天文大數(shù)據(jù)存儲和處理需求;而中標(biāo)清華大學(xué)高分辨率計算攝像儀器高通量在線采集存儲系統(tǒng)采購項目后,浪潮存儲也為這一最新研制成功的光學(xué)顯微儀器提供40個節(jié)點(diǎn)的存儲服務(wù),應(yīng)用于控制28臺高靈敏度相機(jī)進(jìn)行高通量數(shù)據(jù)的并發(fā)采集和存儲,滿足了用戶每臺相機(jī)每秒30張,每張1200萬像素,最長拍攝72小時的連續(xù)拍攝需求。
這背后,浪潮的分布式存儲平臺AS13000發(fā)揮了極大的作用。
為什么不約而同選擇了浪潮存儲AS13000?
AS13000是浪潮存儲推出的一款面向超大數(shù)據(jù)中心級打造的分布式存儲平臺,擁有低中高端多種機(jī)型,所有機(jī)型均適配英特爾最新的Purley平臺,兼容Cascade Lake新一代CPU,可滿足人工智能與超算融合的新應(yīng)用在不同場景的數(shù)據(jù)需求。目前AS13000已經(jīng)發(fā)展到了第五代產(chǎn)品AS13000 G5。
在硬件層面,AS13000以一個架構(gòu)支持 5 種不同形態(tài)(機(jī)架、高密、多節(jié)點(diǎn)、異構(gòu)、機(jī)柜)和多種硬件配置(即以“5+X”架構(gòu)),適配客戶多種數(shù)據(jù)存儲需求,從材料到整機(jī)全棧硬件能力,讓存儲更加穩(wěn)定、安全、可靠。
在軟件層面,AS13000一套架構(gòu)支持文件、塊、對象、大數(shù)據(jù)、數(shù)據(jù)庫5 種協(xié)議,同時聯(lián)合合作伙伴打造多種融合解決方案,提供契合客戶業(yè)務(wù)需求的存儲服務(wù)。AS13000G5對性能指標(biāo)進(jìn)行了全面優(yōu)化,實現(xiàn)了小文件性能、空間利用率、單設(shè)備帶寬、智能運(yùn)維等指標(biāo)的翻倍升級,最大化挖掘、共享和管理數(shù)據(jù),實現(xiàn)數(shù)據(jù)的全生命化管理和價值最大化。
可以說,AS13000是軟件結(jié)合、軟件定義存儲的佼佼者,也是浪潮存儲極致特征的代表作。
上述說法都是來自浪潮存儲官方。這些優(yōu)勢如何驗證?如何讓市場和用戶信服?
以下這組數(shù)據(jù)具備足夠的說服力:
美國時間6月25日,存儲性能委員會(Storage Performance Council,簡稱SPC)公布了最新的SPC-1基準(zhǔn)評測報告,浪潮分布式存儲AS13000G5獲得6,300,529 IOPS(每秒讀寫操作次數(shù))、0.781ms時延的評測值,刷新了分布式存儲性能全球最高成績。至此,浪潮存儲五年五次霸榜,成為全球唯一在分布式存儲和集中式全閃兩大賽道領(lǐng)跑的存儲廠商。
為什么一致青睞SPC的SPC-1?
SPC是1999年成立的存儲專業(yè)評測機(jī)構(gòu),是業(yè)界最活躍、最有影響力的國際存儲性能評測,堪稱存儲性能界的“奧林匹克”。
20多年來,SPC定期發(fā)布性能基準(zhǔn)測試與廠商報告,吸引Dell EMC、Fujitsu、HPE、浪潮、HDS、IBM、NetApp等全球主流存儲廠商積極參與。同時SPC定期更新存儲規(guī)范和測試工具,分區(qū)并發(fā)IO流全程數(shù)據(jù)一致性,5階段數(shù)據(jù)處理全場景模擬。SPC還建立了嚴(yán)格的審核機(jī)制,不僅會進(jìn)行多輪測試,而且測試過程全球公開,讓存儲界的技術(shù)開發(fā)者、用戶監(jiān)督,并運(yùn)用先進(jìn)技術(shù)對現(xiàn)場實勘結(jié)果與測試日志進(jìn)行自動分析,是公認(rèn)的權(quán)威、專業(yè)的測試組織。
SPC-1從2001年初發(fā)布了第一版負(fù)載的模擬測試工具等,到2014年緩慢升級到3.0版本。之后增加了一致性校驗、單點(diǎn)故障、驗證流程等可靠性測試,2018年刷新到3.6版本,最新的是2020年11月份出版的3.1版,豐富了數(shù)據(jù)服務(wù)測試指標(biāo),包括重刪、壓縮、快照、節(jié)能等。
SPC-1基準(zhǔn)評測涵蓋矩陣(metrics)、重復(fù)性(repeat)、耐久性(persistence)三大標(biāo)準(zhǔn)評測流程,能夠?qū)Υ鎯ο到y(tǒng)處理復(fù)雜請求和大規(guī)模數(shù)據(jù)的能力進(jìn)行精準(zhǔn)評估,部分I/O規(guī)格指標(biāo)包括IOPS、滿負(fù)載響應(yīng)時間、多負(fù)載均方差響應(yīng)時間、每GB美元、每KIOPS美元、價格以及不同負(fù)載下小于5%的IOPS浮動范圍、5%的響應(yīng)時間、兩個9到五個9的尾延遲等等。
相對而言,金融、通信、AI領(lǐng)域?qū)T基礎(chǔ)設(shè)施的需求規(guī)模和應(yīng)用較大較嚴(yán)格,浪潮存儲對比發(fā)現(xiàn),無論是基準(zhǔn)模型、彈性能力還是數(shù)據(jù)服務(wù)疊加方面,SPEC-1所提供的指標(biāo)都滿足對這些行業(yè)頂級客戶的標(biāo)準(zhǔn),尤其是基準(zhǔn)模型方面的表現(xiàn)更加系統(tǒng)、完整,因此,滿足SPEC-1技術(shù)和測試規(guī)范的產(chǎn)品更受青睞。
為了做好第五次測試,浪潮存儲做了充分的準(zhǔn)備,前后花費(fèi)了兩年半的時間,提供了30個設(shè)備節(jié)點(diǎn)再加一臺機(jī)柜。浪潮存儲首席架構(gòu)師孫斌在梳理SPC-1測試20多年的演進(jìn)歷程和回顧五次參與測試過程時說。
“打榜只是為了給市場和用戶提供一個量化的指標(biāo)。”針對全球收入排名前列的存儲廠商的產(chǎn)品性能都在不斷提升、但不是所有廠商都選擇在SPC-1上進(jìn)行測試這一現(xiàn)象,孫斌回應(yīng)說,只要公司常設(shè)架構(gòu)師團(tuán)隊,持續(xù)不斷加強(qiáng)研發(fā),提供滿足客戶不斷攀升的應(yīng)用需求,就足夠了。不過,如果浪潮存儲持續(xù)第六次打榜成功,想必不是一件令人意外的事情。
什么技術(shù)能讓浪潮存儲一次接一次打榜?
此次打榜SPC-1,AS13000不同于全閃盤陣的三項技術(shù)創(chuàng)新脫穎而出:
一是在二次寫數(shù)據(jù)和寫產(chǎn)生原數(shù)據(jù)兩個維度實現(xiàn)了本地化,極大地降低了網(wǎng)絡(luò)以及節(jié)點(diǎn)計算方面的資源占用;
二是面向多個CPU核以及NVMeSSD這兩個特征增強(qiáng)并發(fā),對讀寫放大進(jìn)行了優(yōu)化控制,并針對集群中的節(jié)點(diǎn)及SSD之間做到低損、采用metric這樣自研的多流技術(shù)從全局進(jìn)行數(shù)據(jù)分流,讓SSD效能具備更好的表現(xiàn);
三是與傳統(tǒng)掛榜友商采用光纖通道的方式不同,AS13000采用的突破了網(wǎng)口跟不同CPU Core的綁定、從中斷到允許,對IP包拆解、識別和組包等軟硬件協(xié)同技術(shù)后的百G以太網(wǎng),構(gòu)筑起一個高性能表現(xiàn)環(huán)境。
實際上,登頂SPC-1,與浪潮存儲的智能加速引擎iTurbo技術(shù)也密不可分。iTurbo是浪潮存儲2019年面向新一代G5存儲平臺研發(fā)的一項硬核技術(shù),是I/O軟件棧的一套完整的智能加速算法,目前已經(jīng)升級到了2.0版。
iTurbo智能引擎為浪潮存儲系統(tǒng)提供前端應(yīng)用自適應(yīng)和調(diào)配不同數(shù)據(jù)處理策略,實現(xiàn)了智能的IO感知、路徑選擇、數(shù)據(jù)組織和資源調(diào)度,為浪潮存儲在性能上贏得業(yè)界的認(rèn)可帶來創(chuàng)新的存儲加速方案,在同等控制器配置、同等IT建設(shè)成本下支撐更多的數(shù)據(jù)并發(fā)訪問。
以智能IO感知技術(shù)為例,iTurbo通過自適應(yīng)緩存預(yù)讀算法對歷史數(shù)據(jù)I/O模式進(jìn)行分析、判斷識別,對其提前讀取到緩存,從而達(dá)到緩存最高命中率:當(dāng)緩存寫滿時,通過獨(dú)特的替換算法淘汰使用率最低的數(shù)據(jù),使緩存發(fā)揮出最大的價值,與此同時,通過特征數(shù)據(jù)識別和逐字節(jié)的比較,在確保數(shù)據(jù)安全的前提下減少數(shù)據(jù)落盤,提高存儲性能及空間使用率。
浪潮存儲產(chǎn)品線總經(jīng)理李輝道出了關(guān)鍵:浪潮存儲的技術(shù)優(yōu)勢,在于長期的投入。據(jù)悉,從2015年到現(xiàn)在,累計研發(fā)投入接近30億元,研發(fā)人數(shù)的規(guī)模也在逐年增長。
登榜之后,浪潮存儲還要面對哪些挑戰(zhàn)?
AS13000的性能已經(jīng)雄踞市場之首,但是,作為分布式存儲解決方案的代表作,浪潮還在不斷努力,以應(yīng)對市場和客戶的需求。
一方面,SPC-1指標(biāo)還在不斷完善和升級,如最新的測試版本增加了能耗方面的測評指標(biāo)。
對此,浪潮存儲除了在產(chǎn)品研發(fā)層面積極應(yīng)對,還致力于參加相關(guān)政府和機(jī)構(gòu)組織的“綠色存儲企業(yè)領(lǐng)跑者標(biāo)準(zhǔn)”的制訂工作,通過量化的指標(biāo)規(guī)范存儲產(chǎn)品的能耗確保產(chǎn)品永遠(yuǎn)立于領(lǐng)導(dǎo)者地位。
在今年9月將要頒布、由國內(nèi)主流廠商參與的一項領(lǐng)跑者標(biāo)準(zhǔn)的驗測標(biāo)準(zhǔn)中,浪潮存儲是重要的貢獻(xiàn)者之一。
另一方面,技術(shù)在不斷升級,雖然浪潮存儲在產(chǎn)品和技術(shù)層面持續(xù)發(fā)力,包括近期將加強(qiáng)對極致安全方面以及在平臺化和極致云化方面展開更多工作,但要在基礎(chǔ)研究層面繼續(xù)做到七大極致,浪潮存儲也在密切關(guān)注中。李輝告訴記者,存儲技術(shù)的突破性領(lǐng)域集中在介質(zhì)、期間和協(xié)議層面。雖然當(dāng)前技術(shù)研究不一定會取得重大的突破、也未必對未來兩三年帶來重大的影響,但確實到了考慮問題的時候。例如,雖然硅介質(zhì)在存儲領(lǐng)域還將繼續(xù)主導(dǎo)市場很長一段時間,社會各界已經(jīng)開始關(guān)注光全息化學(xué)材料和激光結(jié)合、乃至在玻璃上存儲展開深入探索,浪潮存儲也拉開了與清華大學(xué)在光介質(zhì)層面技術(shù)交流的步伐。
那么,如何有效拓展市場?在企業(yè)級存儲打拼了20年的孫斌表示,浪潮存儲將從3個維度發(fā)力:一是讓更多的企業(yè)客戶加強(qiáng)基于公有云的應(yīng)用,二是提升存儲解決方案的智能化能力,讓客戶實時掌握系統(tǒng)運(yùn)行的狀態(tài),并將潛在的事故隱患提前消滅在萌芽狀態(tài),三是防止單點(diǎn)失敗,確保核心業(yè)務(wù)健康運(yùn)行。