華為數(shù)據(jù)存儲與機器視覺產(chǎn)品線全閃存營銷VP高俊霞

在今天下午的主論壇上,華為數(shù)據(jù)存儲與機器視覺產(chǎn)品線全閃存營銷VP高俊霞以“全閃存數(shù)據(jù)中心,構(gòu)建安全、綠色數(shù)據(jù)基礎(chǔ)設(shè)施”為題,發(fā)表演講。全文如下:

大家好,很高興今天和大家一起分享華為對于數(shù)據(jù)基礎(chǔ)設(shè)施的心得和體會。我今天分享的題目是《全閃存數(shù)據(jù)中心,構(gòu)建安全綠色數(shù)據(jù)基礎(chǔ)設(shè)施》。

華為存儲一直引領(lǐng)全閃存數(shù)據(jù)創(chuàng)新,致力于閃存普惠

首先讓我們一起回顧華為對于全閃存的發(fā)展.

2008年的時候,華為發(fā)現(xiàn)業(yè)界開始用SSD顆粒來替代傳統(tǒng)的機械硬盤,所以我們壓強投入,到2010年,我們誕生了業(yè)界首批企業(yè)級SSD盤。它是一種更快、更可靠的介質(zhì)。我們不滿足于單獨一個盤,所以2011年的時候,我們發(fā)布了業(yè)界首批Tier0全閃存。為什么是Tier0呢?因為它是一個性能極快的,但是沒有任何企業(yè)級特性的存儲,所以一般應(yīng)用于我們的數(shù)據(jù)加速。

經(jīng)過了6年的投入和研發(fā),到2016年華為發(fā)布和業(yè)界首批Tier1全閃存。我們將全閃存應(yīng)用于主存儲市場,它不單單是快,而且具有豐富的企業(yè)級特性。這個時候的全閃存,硬盤普遍采用基于SAS的協(xié)議,所以叫SAS SSD盤。SAS協(xié)議是適配機械硬盤的一種協(xié)議,所以它成為束縛SSD顆粒的瓶頸。

2018年,華為發(fā)布了業(yè)界首家全系列NVMe全閃存,我們將全閃存的時延進一步的降低。到2019年,我們發(fā)布了業(yè)界唯一基于全互聯(lián)架構(gòu)的高端全閃存存儲,這個時候全閃存不單單具有豐富的企業(yè)級特性,而且再承載用戶核心應(yīng)用方面具有全面的領(lǐng)先能力。

全閃存市場是剛需,但當(dāng)前全閃存市場占比僅43.7%,中國僅24.7%

華為一直助力于閃存普惠,今天我們?nèi)W存已經(jīng)成為市場的剛需,有業(yè)務(wù)的需求,有綠色節(jié)能的需求,我們剛剛經(jīng)歷了雙11的促銷,大家看到,由于雙11這樣的一個電子商務(wù)的發(fā)展,金融行業(yè)高峰期的交易量,從每秒3000筆提升到每秒30000筆,這個時候的存儲,機械硬盤是無法承載的。

再比如說運營商Billing的出賬時間,已經(jīng)不滿足于之前的10小時,運營商希望在3.7小時內(nèi)完成,所以業(yè)務(wù)加速全閃存應(yīng)用。

其次,綠色節(jié)能已經(jīng)成為數(shù)據(jù)中心建設(shè)的主旋律,要降低整個存儲的功耗,乃至降低數(shù)據(jù)中心的功耗,我們發(fā)現(xiàn)機械硬盤的耗能是全閃存的3倍,所以我們要加快SSD盤替代機械硬盤的步伐。

我們發(fā)現(xiàn)全球市場閃存占比已經(jīng)達到43.7%,而在中國這個數(shù)字今天只有24.7%,仍然有非常長的發(fā)展歷程,我們需要加快,讓我們的全閃存從SSD加速到主存儲到全閃存數(shù)據(jù)中心。

2010年華為第一代Tier0全閃存存儲關(guān)注于單點的技術(shù)設(shè)計,關(guān)注于SSD硬盤性能的發(fā)揮,所以它具有高性能的硬件,但是沒有任何增值軟件,只能用于加速場景,不能用于主存。到2015年,隨著企業(yè)級特性全閃存的誕生,全閃存已經(jīng)全面應(yīng)用于主存儲的產(chǎn)品。這個時候,我們開始關(guān)注產(chǎn)品級的設(shè)計,重點關(guān)注系統(tǒng)的可靠性,關(guān)注它豐富的企業(yè)特性,有沒有數(shù)據(jù)保護能力,有沒有QoS能力。

只有具備了豐富的特性,具備了高可靠性設(shè)計的全閃存,才能真正的應(yīng)用于我們的主存儲。

重構(gòu)IDC架構(gòu),全閃存數(shù)據(jù)中心全面釋放閃存潛能

到2021年的今天,隨著數(shù)字化轉(zhuǎn)型的加快,隨著用戶業(yè)務(wù)對于IT系統(tǒng)性能的要求,隨著綠色節(jié)能的發(fā)展要求,全閃存正在向數(shù)據(jù)中心全面推廣,這個時候我們開始關(guān)注數(shù)據(jù)中心級的設(shè)計,要全面釋放閃存的潛能,不單單是系統(tǒng),還包括網(wǎng)絡(luò),包括整個數(shù)據(jù)中心資源的規(guī)劃等等。

四大變化,全面激發(fā)全閃存數(shù)據(jù)中心的潛能釋放

我們發(fā)現(xiàn)四大變化正在全面激發(fā)全閃存數(shù)據(jù)中心的潛能釋放,這四大變化包含什么呢?

第一大變化,全場景的閃存普惠。全閃存已經(jīng)從主存儲,從核心業(yè)務(wù),發(fā)展到非結(jié)構(gòu)化數(shù)據(jù)的通用存儲、文件存儲,乃至發(fā)展到備份存儲。全場景數(shù)據(jù)的存儲應(yīng)用,達到綠色節(jié)能的效果。

第二大變化,數(shù)據(jù)中心開始關(guān)注數(shù)據(jù)保護,從原來單維的一個備份系統(tǒng)到今天多維的數(shù)據(jù)保護,我們開始關(guān)注數(shù)據(jù)保護的性能,我們開始關(guān)注我們所保護的數(shù)據(jù)類型和數(shù)據(jù)量,關(guān)注所能保護的數(shù)據(jù)的范圍,保護對象,還有保護的等級,在多長的時間內(nèi)能夠恢復(fù)業(yè)務(wù),在多長的時間內(nèi)能完成備份,我們能夠存儲多長時間的數(shù)據(jù)。

第三大變化,多元融合的管理。在整個數(shù)據(jù)中心里,要從單一的存儲開始到整個數(shù)據(jù)中心的存儲管理,那如何合理的規(guī)劃我們的應(yīng)用和存儲資源的匹配,如何規(guī)劃我們的應(yīng)用和數(shù)據(jù)保護資源的匹配,如何進行合理的調(diào)優(yōu),如何隨時進行資源的調(diào)配,所以我們開始關(guān)注整個數(shù)據(jù)中心的融合存儲管理。

最后我們建設(shè)更高速的存儲局域網(wǎng),將傳統(tǒng)的SCSI協(xié)議變成更快、更低時延的NVMe協(xié)議,充分釋放全閃存的性能。

擁抱變化,構(gòu)建安全綠色的全閃存數(shù)據(jù)中心

所以今天我們要擁抱變化,構(gòu)建安全綠色的全閃存數(shù)據(jù)中心。華為全閃存數(shù)據(jù)中心解決方案涵蓋了方方面面,涵蓋了全場景的閃存化,從核心存儲到通用存儲,從結(jié)構(gòu)化存儲到非結(jié)構(gòu)化存儲,涵蓋了全場景的數(shù)據(jù)保護,從容災(zāi)到備份乃至到歸檔,全鏈路的數(shù)據(jù)保護,那么從存儲到存儲局域網(wǎng),由原來的光纖交換機變成今天支持NVMe協(xié)議的RoCE交換機,實現(xiàn)了全IP的數(shù)據(jù)中心網(wǎng)絡(luò);從單臺存儲設(shè)備的管理到整個數(shù)據(jù)的存儲資源的管理,要實現(xiàn)數(shù)據(jù)全生命周期的自動化,從規(guī)劃到建設(shè)到維護到優(yōu)化,這樣的一個數(shù)據(jù)中心是綠色節(jié)能,是安全可靠,是極簡運維的,所以我們也把它稱之為全場景、全生命周期、全IP。

我們首先來看全場景的閃存化,我們要從關(guān)鍵核心業(yè)務(wù)到通用業(yè)務(wù)到文件業(yè)務(wù),全部將機械硬盤變成SSD硬盤,系統(tǒng)的性能提升40倍,災(zāi)備效率大幅提升,整個數(shù)據(jù)中心的電力能耗降低73%,整個空間占用節(jié)省50%,這樣的一個數(shù)據(jù)中心是節(jié)能的,這樣的一個數(shù)據(jù)中心是高效的。我們做過一筆計算,完成一塊SSD硬盤的替換,相當(dāng)于植樹150棵。

SSD硬盤已經(jīng)不能滿足我們用戶的業(yè)務(wù)需求了,我們需要更快的介質(zhì),更低時延的介質(zhì),所以下一步我們要開始發(fā)展SCM,當(dāng)然它和SSD硬盤的發(fā)展歷程幾乎類似,我們會首先將SCM應(yīng)用于我們的數(shù)據(jù)加速,應(yīng)用于全閃存領(lǐng)域的加速,讓性能達到30%的提升,時延降低50%。

接下來我們會將SCM應(yīng)用于整套存儲系統(tǒng),建設(shè)一套全SCM的存儲。這個時候的性能,再一次提升30%,時延再一次降低50%,所以主存的閃存化需要SCM的加持,需要更低的時延。

容災(zāi)的閃存化也是我們的一個方向,原來的備份系統(tǒng)它是一個靜態(tài)的,不是隨時可用的系統(tǒng),今天我們要將這套備份系統(tǒng)演變成生產(chǎn)中心,讓兩個數(shù)據(jù)中心達到雙活的效果,當(dāng)然,第二個數(shù)據(jù)中心也需要一套高可靠的存儲,以達到當(dāng)生產(chǎn)中心A故障的時候,馬上無感知的接管。

熱數(shù)據(jù)全容災(zāi),我們還需要做溫數(shù)據(jù)熱備份,原來備份只能備份我們的核心業(yè)務(wù)數(shù)據(jù),用戶不太關(guān)注備份的時間窗,因為數(shù)據(jù)量較小,往往在規(guī)定的時間內(nèi)是可以完成的,但是今天我們的備份范圍已經(jīng)從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù),備份的數(shù)據(jù)量從PB級到EB級,這個時候備份時間窗將成為一個重要的指標(biāo),如果在用戶規(guī)定的時間內(nèi),不能完成備份,那么將會對第二天的生產(chǎn)業(yè)務(wù)造成極大的影響。

所以要建設(shè)一套高效的備份系統(tǒng),讓備份時間從小時級變成分鐘級,以滿足我們EB級數(shù)據(jù)備份的需求,滿足非結(jié)構(gòu)化數(shù)據(jù)備份的需求。

那么高性能的備份當(dāng)然需要高性能的介質(zhì),這樣的投資我們需要充分的發(fā)揮,所以我們讓備份的數(shù)據(jù)熱起來,讓備份的副本即時可用,讓它能夠應(yīng)用于用戶的數(shù)據(jù)挖掘、開發(fā)測試等等,讓備份數(shù)據(jù)也熱起來。

對于長久保存的數(shù)據(jù),我們有三級存儲介質(zhì)的解決方案,主存用電、備份用磁、歸檔用光,通過三級存儲介質(zhì)的數(shù)據(jù)分層,達到長期數(shù)據(jù)保存的目的,當(dāng)用戶需要的時候,我們可以從冷數(shù)據(jù)或者溫數(shù)據(jù)快速的將數(shù)據(jù)恢復(fù)到熱數(shù)據(jù)層,以達到訪問時間大大縮短、分鐘級訪問時間的目的。

全場景的數(shù)據(jù)保護:保護數(shù)據(jù)更廣、業(yè)務(wù)響應(yīng)更快、留存時間更久

我們進行了一個加速,那么我們需要規(guī)劃更廣的保護對象,從生產(chǎn)核心,從結(jié)構(gòu)化數(shù)據(jù),到開發(fā)測試,到非結(jié)構(gòu)化數(shù)據(jù),有了更高效的備份系統(tǒng),這些都已經(jīng)可以實現(xiàn)。要讓備份的業(yè)務(wù)系統(tǒng)響應(yīng)更快,所以要做雙活的容災(zāi),用戶有需求的時候,我們可以建立三個數(shù)據(jù)中心的容災(zāi),也可以建立災(zāi)備上云的解決方案,備份的力度更加小,更加細(xì)粒,業(yè)務(wù)恢復(fù)的時間更短,即使是災(zāi)備上云也可以做到5分鐘內(nèi)在云內(nèi)完成業(yè)務(wù)的恢復(fù),所以對用戶的災(zāi)備響應(yīng)來說,他的響應(yīng)會更快。

基于電、磁、光三級架構(gòu)的備份歸檔設(shè)計,我們讓數(shù)據(jù)的留存時間更久,留存可以達到30年到50年,整個歸檔時間段內(nèi)可以做到防篡改、防病毒,是一個高安全的歸檔。

全場景閃存化驅(qū)動全生命周期數(shù)據(jù)管理自動化,提升運維效率

這樣的一個數(shù)據(jù)中心,它已經(jīng)不單單是一套存儲系統(tǒng)了,已經(jīng)覆蓋了從SAN到NAS,從主存到備份,從生產(chǎn)到數(shù)據(jù)保護,這么多的資源,如何做到管理自動化,是我們的建設(shè)目標(biāo)。我們要根據(jù)客戶業(yè)務(wù)的負(fù)載進行評估,幫助客戶規(guī)劃更加匹配、更加性價比好的資源,既要滿足用戶的性能訴求,同時要做到投資最低。根據(jù)用戶的數(shù)據(jù)的安全重要性來制定他的保護策略。

這些過程都是可以自動化的,都有編排的目錄可以隨用戶自動選擇;在運維過程中如果發(fā)現(xiàn)故障,能夠及時的發(fā)現(xiàn)并且分析最終定位,做到防患于未然,主動發(fā)現(xiàn),主動維護。

在資源使用的過程中,我們可以進行優(yōu)化,進行變更,可以將浪費的資源回收,將積聚的資源發(fā)放給更重要的業(yè)務(wù)區(qū)。

所以全場景的閃存化也在驅(qū)動我們做全生命周期的數(shù)據(jù)管理自動化,提升們數(shù)據(jù)中心的運維效率。

全IP數(shù)據(jù)中心網(wǎng)絡(luò),釋放閃存性能潛力,簡化運維管理

這個運維效率當(dāng)然也包括存儲局域網(wǎng),原來的FC網(wǎng)和我們的以太網(wǎng)是兩張網(wǎng)絡(luò),所以用戶的管理是兩套網(wǎng)絡(luò)的管理。隨著SSD介質(zhì)的發(fā)展,我們發(fā)現(xiàn)FC網(wǎng)絡(luò)已經(jīng)成為束縛系統(tǒng)端到端時延的一個瓶頸,所以需要更低時延的協(xié)議,滿足我們的需求。

基于NVMe over RoCE協(xié)議,正好達到了簡化運維、提升性能、降低時延的效果。華為采用了增強型NOF網(wǎng)絡(luò),與我們的交換機進行了強強聯(lián)合,不單單實現(xiàn)了成本的降低,實現(xiàn)了統(tǒng)一的管理,而且實現(xiàn)了比傳統(tǒng)專用網(wǎng)絡(luò)更高的性能,更好的易用性。

可靠性也是不可忽略的,所以我們做到故障的秒切,做到網(wǎng)絡(luò)的即插即識別即用。

華為OceanStor服務(wù)全球15000+客戶,遍及各大行業(yè)

這樣的數(shù)據(jù)中心正在廣泛的被客戶采納。全球已經(jīng)有超過1.5萬個NA客戶采用華為的存儲,我們也很欣喜地發(fā)現(xiàn),已經(jīng)有很多客戶開始部署全閃存的數(shù)據(jù)中心,比如同仁醫(yī)院等等。

總結(jié)

華為存儲引領(lǐng)綠色節(jié)能、高效可靠的全閃存數(shù)據(jù)中心。

華為全閃存數(shù)據(jù)中心具有四大能力,全場景的閃存化、全場景的數(shù)據(jù)保護、全場景的自動化數(shù)據(jù)管理、以及高速的數(shù)據(jù)中心網(wǎng)絡(luò)。這一切都來自于持續(xù)創(chuàng)新,我們的目標(biāo)是助力我們的客戶數(shù)字化、智能化的轉(zhuǎn)型,加快客戶的智能化轉(zhuǎn)型。

好,我今天的分享就到此結(jié)束,謝謝大家。

分享到

xiesc

相關(guān)推薦