隨著人工智能、物聯(lián)網(wǎng)、邊緣計算、智慧金融、智能安防等新興技術(shù)的普及和應(yīng)用,產(chǎn)生了海量數(shù)據(jù),這些數(shù)據(jù)包括照片、視頻、文檔、Web頁面……文件種類繁多,大小不一。其中不僅包括海量的大文件,也包括數(shù)量達(dá)到十億、百億級別數(shù)量的小文件(小于1MB)。
傳統(tǒng)的存儲系統(tǒng),包括本地文件系統(tǒng)、分布式文件系統(tǒng),多采用NFS協(xié)議,高度匹配大文件存儲場景,并不適用于海量小文件的存儲場景。如此明顯的性能瓶頸,讓海量的小文件的存儲問題逐漸成為前端應(yīng)用革新的“絆腳石”。
XE2100/3100系列作為一款定位“極致性能、聚焦場景”的軟件定義存儲一體機(jī),采用NAS VM Stack + 英特爾?傲騰?固態(tài)盤 DC P4800X的整體架構(gòu),在滿足分布大文件存儲需求的同時,還在XScalerOS系統(tǒng)上使用了突破性的XSCALER fCache NAS加速功能,提升整體NAS性能的同時,提升小文件讀寫場景下存儲系統(tǒng)的響應(yīng)能力,并帶來更高的可擴(kuò)展性。
01XSCALER fCache加速特性化解小文件存儲困境
當(dāng)用戶讀取大量小文件時,會首先選擇據(jù)服務(wù)器交互,當(dāng)訪問過于集中、信息交互過于頻繁時,讀寫性能上會產(chǎn)生的很明顯的延遲。
XSCALER fCache通過采用針對NAS優(yōu)化的獨立軟件棧,和NVMe SSD高速介質(zhì)結(jié)合,借助其低延遲、高吞吐,高QoS的優(yōu)勢,實現(xiàn)了海量文件的高性能讀寫和更低的延遲抖動。
為突破混合讀寫性能降低的瓶頸,XE2100/3100系列支持用戶選擇結(jié)合了內(nèi)存和存儲兩種屬性的英特爾? 傲騰? 固態(tài)盤DC P4800X。它具有業(yè)內(nèi)領(lǐng)先的高吞吐、低延遲、高服務(wù)質(zhì)量和高耐用性,在保證用戶系統(tǒng)有效生命周期的同時,進(jìn)一步提升高性能系統(tǒng)的響應(yīng)能力。
經(jīng)實測,相較于業(yè)界主流存儲,加速后的XE2100/3100系列在3節(jié)點標(biāo)準(zhǔn)配置的測試環(huán)境中,8KB隨機(jī)讀IOPS高達(dá)153000,相較主流傳統(tǒng)存儲提升225%。NAS隨機(jī)寫性比主流分布式存儲提升10倍,比傳統(tǒng)存儲提升3倍。
02XSCALER fCache加速特性化解小文件存儲困境
在確保存儲本身的穩(wěn)定性、數(shù)據(jù)安全性和高效性方面,XSCALER fCache特性采用了“NAS VM Stack”的整體架構(gòu),實現(xiàn)了業(yè)務(wù)應(yīng)用上的整體性能提升:
快速啟動和切換:基于虛擬機(jī)的架構(gòu),具有啟動快、切換快等特點;
高可靠:采用主備虛擬機(jī)模式,在主節(jié)點宕機(jī)時,備節(jié)點可快速接管業(yè)務(wù),達(dá)到客戶業(yè)務(wù)無感知的效果;
系統(tǒng)優(yōu)化:經(jīng)過優(yōu)化的協(xié)議處理單元和文件系統(tǒng)處理單元,業(yè)務(wù)數(shù)據(jù)IO可支持以多線程Direct-IO的方式直接進(jìn)入fCache加速處理單元,尤其適用于密集型小IO應(yīng)用;
高安全:采用高速網(wǎng)絡(luò)技術(shù)進(jìn)行節(jié)點間數(shù)據(jù)復(fù)制,進(jìn)一步提升數(shù)據(jù)安全性
高性能:采用NVMe SSD或Intel Optane設(shè)備與Mirror網(wǎng)卡的結(jié)合,將NVMe SSD性能發(fā)揮到極致
03適配大/小文件存儲需求的各類企業(yè)級應(yīng)用
IDC數(shù)據(jù)顯示,目前企業(yè)結(jié)構(gòu)化數(shù)據(jù)的存儲量僅占到全部數(shù)據(jù)量的20%,其余80%都是以文件形式存在的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。其中,很大一部分以海量小文件的形式存在著。
隨著“數(shù)據(jù)資產(chǎn)化”理念的深入,企業(yè)、政府、組織機(jī)構(gòu)等主體都對非結(jié)構(gòu)化數(shù)據(jù),尤其是蘊(yùn)含著大量用戶行為、用戶偏好的數(shù)據(jù)產(chǎn)生了濃厚的興趣。他們立志于聯(lián)通非結(jié)構(gòu)化數(shù)據(jù),消除“信息孤島”,實現(xiàn)真正的數(shù)據(jù)驅(qū)動業(yè)務(wù)。這一切都依賴于一套“容量大、可擴(kuò)展,同時支持大/小文件讀寫”的共享數(shù)據(jù)池。
全新一代XE2100/3100系列是一套面向未來的存儲產(chǎn)品。它具有分布式存儲優(yōu)先存儲大文件的特性,也因采用了XSCALER fCache加速功能實現(xiàn)了小文件讀寫性能顯著提升。同時,作為一款軟件定義存儲產(chǎn)品,XE2100/3100具有海量、彈性、靈活的存儲特性,理論上可支持虛擬化環(huán)境下無限擴(kuò)容,滿足不同數(shù)字化階段用戶對存儲的不同需求,真正實現(xiàn)“平臺型存儲”。
目前,全新一代XE2100/3100系列產(chǎn)品已完成了代碼倉庫系統(tǒng)、辦公OA系統(tǒng)、醫(yī)院電子病歷HIS系統(tǒng)、郵件系統(tǒng)、設(shè)計院海量文件等多種小文件業(yè)務(wù)場景下的性能測試,無論是在性能、可靠性、安全性上均有突出的優(yōu)勢,可輕松應(yīng)用實際業(yè)務(wù)環(huán)境中不同級別的數(shù)據(jù)讀寫壓力。
04XE2100/3100的典型應(yīng)用
近年來,醫(yī)院的數(shù)字化創(chuàng)新進(jìn)程較快,醫(yī)院引進(jìn)了不同種類的醫(yī)療影像系統(tǒng),拍攝類型分為CT、CR等。以CT影響為例,一位患者的二維CT影像大概在300張左右,做一次三維CT檢測影像大約會產(chǎn)生數(shù)千幅文件。其中,文件大小200K~300K文件占文件總數(shù)的63%,100K~200K的文件占總數(shù)33%,由此產(chǎn)生了海量的小文件并發(fā),對底層存儲的帶寬和IO要求很高。
以拍一次CT影像產(chǎn)生的數(shù)據(jù)量為例,一般會切片成256KB,一個部位會拍500-1000張,所以平均拍一次CT影像的總數(shù)據(jù)量300MB左右。六節(jié)點XE2100/3100集群可提供200TB的可用容量,可存儲近70萬次CT影像。
同時通過XSCALER fCache NAS加速功能,醫(yī)生閱片從過去的5~6秒打開,到現(xiàn)在只需要1~2秒,速度提升3倍以上,進(jìn)一步縮短病情的確診時間,為患者救治最大限度的爭取寶貴時間。