郭昊:大數(shù)據(jù)的發(fā)展是非常迅速的,從2013年一直到2018年整個(gè)數(shù)據(jù)的發(fā)展,每年都是以至少30%甚至90%的速度飛速增長(zhǎng),2018年已經(jīng)達(dá)到了33ZB的生長(zhǎng)水平,預(yù)計(jì)在2020年和2025年,全球大數(shù)據(jù)存儲(chǔ)量將達(dá)44ZB和175ZB。在這樣一個(gè)概念下,數(shù)據(jù)中心會(huì)面臨多種多樣的問題。目前在整個(gè)數(shù)據(jù)的結(jié)構(gòu)上來說,其實(shí)我們現(xiàn)在對(duì)于整體數(shù)據(jù)的存儲(chǔ)85%以上是不經(jīng)常訪問的,但必須要保存重要信息,在這個(gè)上面不管是政府還是企業(yè)對(duì)這部分?jǐn)?shù)據(jù)耗費(fèi)大量的資源去進(jìn)行管理也是很多存儲(chǔ)產(chǎn)品所面臨的一個(gè)難題。
降低存儲(chǔ)功耗是關(guān)鍵,兩大創(chuàng)新平臺(tái)提供支撐
整個(gè)數(shù)據(jù)中心的能耗當(dāng)中,服務(wù)器存儲(chǔ)和交換占了整體能耗大約50%左右,空調(diào)制冷這一塊占了37%,整個(gè)服務(wù)器功耗和控電制冷的功耗呈一個(gè)正比的關(guān)系,最終將整個(gè)服務(wù)器存儲(chǔ)的功耗進(jìn)行下降,整體數(shù)據(jù)中心的資源的消耗得到大幅度的衰減。據(jù)目前的IDC的調(diào)查,目前65%以上的數(shù)據(jù)中心都會(huì)存在供電制冷的問題。數(shù)據(jù)中心平均4年的電費(fèi)超過了數(shù)據(jù)中心整體基礎(chǔ)建設(shè)的投資。瑞馳針對(duì)于這一塊進(jìn)行了深入調(diào)查,也提出了自己的想法,怎么樣降低整體數(shù)據(jù)存儲(chǔ)的資源消耗。
整體的存儲(chǔ)功耗我們分解,整個(gè)存儲(chǔ)功耗一個(gè)硬件平臺(tái)的功耗,另外一個(gè)硬盤的功耗,通過這兩方面降低整體存儲(chǔ)功耗,我們提出了兩個(gè)方面的想法。第一個(gè)在硬件平臺(tái)功耗這方面我們提出創(chuàng)新型硬件平臺(tái),通過開發(fā)創(chuàng)新型硬件平臺(tái),提高硬件密度,降低硬件平臺(tái)的功耗。第二個(gè)通過軟件層面我們需要一套很智能化管理系統(tǒng),通過我們與自身開發(fā)的創(chuàng)新型硬件平臺(tái)做一個(gè)結(jié)合,智能化管理數(shù)據(jù),做到按訪問量耗能,具體在數(shù)據(jù)中需要訪問多大數(shù)據(jù)量怎么讀寫按照最終的訪問量,整體的數(shù)據(jù)存儲(chǔ)來看,冷數(shù)據(jù)占了85%,整個(gè)能夠做到訪問量耗能,可以做到將整個(gè)存儲(chǔ)功耗降低80%以上。
創(chuàng)新型硬件平臺(tái)提出一個(gè)概念,目前采用ARM芯片做存儲(chǔ),在服務(wù)器CPU市場(chǎng)上,Intel占據(jù)超90%的市場(chǎng)份額。在移動(dòng)芯片市場(chǎng)上,ARM架構(gòu)的芯片幾乎占據(jù)了所有市場(chǎng)份額。ARM芯片的特點(diǎn)——體積小、低功耗、低成本。我們發(fā)現(xiàn)這個(gè)特點(diǎn)的時(shí)候,與我們?cè)诖鎯?chǔ)行業(yè)的想法是不謀而合的,在云存儲(chǔ)的設(shè)施上,第一在數(shù)據(jù)中心存儲(chǔ)其實(shí)占了數(shù)據(jù)中心一大部分,市場(chǎng)空間巨大的,所以在功耗和成本以及性能的要求上其實(shí)ARM都是可以滿足現(xiàn)階段的想法。技術(shù)層面因?yàn)锳RM的架構(gòu)意味著所有的芯片板卡包括軟件要重新定制,我們?cè)诖鎯?chǔ)這個(gè)單一應(yīng)用進(jìn)行切入,發(fā)揮本身的硬件平臺(tái)的價(jià)值,瑞馳與Marvell、Ampere合作研發(fā)了兩套創(chuàng)新型硬件架構(gòu),滿足我們對(duì)于海量數(shù)據(jù)存儲(chǔ)的期望。
為何提出“按訪問量耗能”這個(gè)概念?
除了硬件方面,在智能存儲(chǔ)系統(tǒng)方面,瑞馳開發(fā)出了一套命名Blue Data的管理系統(tǒng),這個(gè)管理系統(tǒng)主要通過三個(gè)方面強(qiáng)調(diào)管理特色。第一,在數(shù)據(jù)的高效讀寫上,通過兩個(gè)創(chuàng)新型平臺(tái)——NxStor和NxCells的結(jié)合,分離數(shù)據(jù),保障數(shù)據(jù)的高效讀寫,同時(shí)提高存儲(chǔ)密度,降低存儲(chǔ)功耗。現(xiàn)階段市場(chǎng)中很多人提出冷存儲(chǔ)的概念,往往會(huì)出現(xiàn)一個(gè)通病,數(shù)據(jù)是否能實(shí)時(shí)高效讀寫,我們通過這樣的結(jié)合方式,通過高效的ARM平臺(tái),將數(shù)據(jù)進(jìn)行分離,將本身數(shù)據(jù)所需要檢索的原數(shù)據(jù)模塊放在高效的存儲(chǔ)介質(zhì)當(dāng)中,通過整體智能管理系統(tǒng),做到實(shí)時(shí)讀取我們所需要的數(shù)據(jù)。第二,數(shù)據(jù)存儲(chǔ)的策略,對(duì)外統(tǒng)一的存儲(chǔ)命名空間,將兩層不同的硬件平臺(tái)進(jìn)行一個(gè)整合,根據(jù)業(yè)務(wù)客戶的場(chǎng)景進(jìn)行數(shù)據(jù)的分離,也是我們高效讀取策略的基礎(chǔ)。第三,提供海量存儲(chǔ)系統(tǒng)的概念,就是按訪問量耗能,我們?cè)趺慈プ霭丛L問量耗能,整個(gè)也是因?yàn)槲覀儎?chuàng)新的軟硬件架構(gòu)的結(jié)合,才可以做到我們對(duì)單塊硬盤或者兩塊硬盤進(jìn)行細(xì)顆度管理,能夠?qū)崟r(shí)找到抓取到數(shù)據(jù)的存放點(diǎn)。通過一些硬件的休眠功能和軟件讀取功能,可以實(shí)時(shí)快速找到這塊數(shù)據(jù),能夠做到訪問這塊數(shù)據(jù),并不需要喚醒更多的硬盤,功耗上能夠按訪問量的特點(diǎn)。
兩款硬件平臺(tái),第一,NxCell低功耗存儲(chǔ)采用Marvell方案,該存儲(chǔ)采用12顆Marvell的2核低端芯片,通過架構(gòu)設(shè)計(jì),實(shí)現(xiàn)密度與傳統(tǒng)存儲(chǔ)服務(wù)器比高1倍,功耗還要比同密度X86更低,下一步存儲(chǔ)主控將升級(jí)至A72,提供更快的性能,更好的讀取速度。第二是基于ARM高性能平臺(tái)NxStor,目前采用Ampere高性能32核CPU,整機(jī)架構(gòu)與傳統(tǒng)服務(wù)器架構(gòu)一樣,適用于高并發(fā)、高性能的存儲(chǔ)場(chǎng)景,與NxCells硬件平臺(tái)互補(bǔ),下一步主控CPU將升級(jí)至64核,性能更優(yōu),兩個(gè)硬件平臺(tái)同時(shí)包含了需要的高并發(fā)、高性能、高密度、低功耗。
海量冷數(shù)據(jù)管理幫手:BlueData
Blue Data產(chǎn)品架構(gòu),整體上模擬化了機(jī)柜,以NxStor高性能存儲(chǔ)節(jié)點(diǎn)及NxCells高密度低功耗存儲(chǔ)節(jié)點(diǎn)為基礎(chǔ)硬件平臺(tái),通過Blue Data智能存儲(chǔ)管理系統(tǒng)統(tǒng)一管理,面向運(yùn)營(yíng)商、金融、安防、物聯(lián)網(wǎng)等行業(yè),存在海量數(shù)據(jù)需求的用戶,提供高效率、低成本、智能化的海量數(shù)據(jù)存儲(chǔ)解決方案。
Blue Data的特點(diǎn):智能管理、超低功耗、快速調(diào)閱和高密度。智能管理方面,由NxStor高性能硬件平臺(tái)作為前端數(shù)據(jù)入口,為前端業(yè)務(wù)系統(tǒng)提供統(tǒng)一存儲(chǔ)空間,進(jìn)行數(shù)據(jù)分離,打散到高密度低功耗硬件平臺(tái),打散的過程中就可滿足客戶業(yè)務(wù)前端的需求。這個(gè)過程當(dāng)中我們體現(xiàn)的第二個(gè)特點(diǎn),超低功耗。整個(gè)存儲(chǔ)管理系統(tǒng)在純ARM平臺(tái)上,存儲(chǔ)系統(tǒng)本身硬件的功耗,高密度低功耗傳統(tǒng)服務(wù)器降一半,高性能ARM服務(wù)器降到20%-30%,硬件平臺(tái)上做了一定衰減之后,同樣在硬盤上功耗上通過智能管理平臺(tái),按訪問量耗能,目前整個(gè)測(cè)試可以發(fā)現(xiàn),在硬盤的功耗以及硬件平臺(tái)功耗下降之后,整個(gè)方案在整體存儲(chǔ)功耗上能夠下降80%,就是1PB存儲(chǔ)數(shù)據(jù)量一年可以節(jié)省電力費(fèi)用單存儲(chǔ)可節(jié)省小一百萬,空調(diào)制冷同時(shí)下降情況下1PB存儲(chǔ)的數(shù)據(jù)量一年時(shí)間內(nèi)可以節(jié)省到一百多萬,甚至兩百萬電力的水準(zhǔn)。這個(gè)其實(shí)在整個(gè)的數(shù)據(jù)中心的資源內(nèi)是非常缺乏的,目前一線城市數(shù)據(jù)中心越來越少了,我們不停地在二線或者三線城市建立數(shù)據(jù)中心,對(duì)資源的消耗對(duì)于整個(gè)國(guó)內(nèi)的數(shù)據(jù)中心的生態(tài)來講其實(shí)是非常嚴(yán)重的,我們這一套方案可以解決數(shù)據(jù)中心大部分存儲(chǔ)方面的問題。第三個(gè)快速調(diào)閱,正常情況下,我們有一個(gè)統(tǒng)一管理平臺(tái),在管理平臺(tái)上可以進(jìn)行設(shè)置,硬盤沒有出現(xiàn)數(shù)據(jù)讀寫,幾十秒時(shí)間內(nèi)硬盤會(huì)進(jìn)入到休眠狀態(tài),調(diào)用這部分?jǐn)?shù)據(jù),打開統(tǒng)一命名空間,已經(jīng)可以看到空間里面有哪些數(shù)據(jù),真實(shí)需要調(diào)用的時(shí)候,需要通過管理系統(tǒng),通過細(xì)模塊化CPU的管理,調(diào)用這塊硬盤,結(jié)束休眠狀態(tài)。這樣的作用就是可以快速細(xì)模塊化管理,快速調(diào)閱出來。最后一個(gè),高密度,硬件平臺(tái) NxCells ,規(guī)格為2U24盤,對(duì)比傳統(tǒng)存儲(chǔ)服務(wù)器及存儲(chǔ)陣列,正規(guī)容量多一倍,硬件平臺(tái)為2U12節(jié)點(diǎn),可靈活喚醒硬盤。
目前對(duì)于Blue Data的產(chǎn)品以及對(duì)整個(gè)存儲(chǔ)行業(yè)的發(fā)展,我們認(rèn)為后續(xù)需要對(duì)整個(gè)的存儲(chǔ)做到了一個(gè)按訪問量耗能,這樣才可以解決數(shù)據(jù)可持續(xù)發(fā)展問題,數(shù)據(jù)在高速的發(fā)展,怎么去解決?可能我們現(xiàn)在也看到三年整個(gè)數(shù)據(jù)量得到翻倍的效果,這個(gè)效果下怎么保證可能過了三十年之內(nèi)數(shù)據(jù)存儲(chǔ)量,現(xiàn)有資源情況下是否能夠支撐這么大的能源消耗。我們需要解決這些問題,同樣我們需要在整個(gè)存儲(chǔ)業(yè)界,數(shù)據(jù)中心的范圍內(nèi)建立這樣一種標(biāo)準(zhǔn)去提高我們的可持續(xù)發(fā)展能力。瑞馳作為一個(gè)新型的這樣一個(gè)存儲(chǔ)廠商,我們的一些產(chǎn)品也同樣會(huì)包含在存儲(chǔ)領(lǐng)域內(nèi)的新的概念,新的創(chuàng)新,這種范圍內(nèi)更多企業(yè)進(jìn)行一些溝通,能夠更好地快速地提升我們產(chǎn)品在行業(yè)內(nèi)的發(fā)展。
(以上內(nèi)容根據(jù)演講實(shí)錄整理,如有紕漏,敬請(qǐng)指正。)