華為數(shù)據(jù)存儲與機器視覺產(chǎn)品線副總裁張福鵬

隨著數(shù)據(jù)發(fā)展,數(shù)據(jù)基礎設施的發(fā)展矛盾日益凸顯。首先,實時計算。我們看未來有10μs級的要求,不只是經(jīng)常說的毫秒級,而且微秒級不僅在傳統(tǒng)存儲里面,應該是放在數(shù)據(jù)中心角度來看存儲。

第二是數(shù)據(jù)膨脹,隨著數(shù)據(jù)遷移次數(shù)增加,加上多副本安全考量,數(shù)據(jù)膨脹將成為5G使用的瓶頸。

第三是面向云化的建設,如何實現(xiàn)數(shù)據(jù)中心云化,如何融合外部云和本地IT設施?

第四則是企業(yè)數(shù)據(jù)中心需要平滑的自我演進方式,以避免短時間內(nèi)的不斷迭代。

重定義內(nèi)存和存儲邊界助力實時計算

實時計算。未來有很多實時計算,更高性能的要求,不僅是內(nèi)存發(fā)展可能跟不上,后端還需要大量的技術。其中IO瓶頸(實現(xiàn)高性能)是其中一個,原來HPC可能就是計算問題,但現(xiàn)在發(fā)現(xiàn)很多業(yè)務的生產(chǎn),必須是計算密度加上存儲厚度,很多企業(yè)也表示如果數(shù)據(jù)存儲IO不夠,算力建多少都沒有用。并且需要高速的實時的數(shù)據(jù),必須提供內(nèi)存級的能力。

另外在生產(chǎn)交易的環(huán)節(jié),我們現(xiàn)在做智能風控,是要把海量傳統(tǒng)交易事務加在一起,碰撞才能進行使用,所有這些內(nèi)容都需要重新定義內(nèi)存和存儲的邊界,未來存儲必須是一個數(shù)據(jù)中心,一個企業(yè)全部數(shù)據(jù)統(tǒng)一的認證,實現(xiàn)大規(guī)模、高性能、高可靠和易用,這是變化挑戰(zhàn)的一個方向。

在這一方向上,需要我們在軟硬件上面同時優(yōu)化和調(diào)整,從上層的軟件到底層的硬件都能感知數(shù)據(jù),對數(shù)據(jù)進行優(yōu)化。因此無論是盤還是控制器,華為都設置了端到端的硬件和軟件進行實時優(yōu)化,保證不僅能夠提供高性能,而且不管任何一種數(shù)據(jù)模型的情況下,都可以提供穩(wěn)定的帶寬,這是我們認為未來在高性能領域,必須從底層到高層,硬件到軟件,從介質(zhì)到架構統(tǒng)一的創(chuàng)新方向。

當數(shù)據(jù)成為企業(yè)未來關鍵生產(chǎn)要素時,業(yè)務可靠性至關重要,存儲技術作為一個傳統(tǒng)的高可靠要求的產(chǎn)品,必須能夠提供穩(wěn)定的作用。首先,盤不能掉,其次,到設備級。所有的盤是做冗余,內(nèi)部做統(tǒng)一控制,讓任何一個盤失效都不會影響生產(chǎn)業(yè)務,不僅做了盤,還做了框,哪怕有一個框里面所有的盤失效了,還是可以保證運營,然后就是全互聯(lián)架構,華為做了很多網(wǎng)絡級互聯(lián)互通,使得我們盤框八個控制器七個壞掉都可以運轉(zhuǎn),而且免網(wǎng)關雙活。

打破存儲孤島構建統(tǒng)一的數(shù)據(jù)存儲底座

我們必須把企業(yè)所有的數(shù)據(jù)——各種各樣的實時數(shù)據(jù),熱數(shù)據(jù)和大數(shù)據(jù)等進行統(tǒng)一管理,但這些數(shù)據(jù)需要不同的介質(zhì)盤來搞定,難道我們要做不同的產(chǎn)品嗎?不應該這樣,我們在企業(yè)的數(shù)據(jù)中心,甚至在跨界多云應該構建一個統(tǒng)一的存儲資源池,可以用軟件架構和統(tǒng)一架構的方式屏蔽任何的介質(zhì)差異不同,使得它不管是面向隨機的閃存還是面向硬盤,都能提供最合適的業(yè)務,我們就需要把所有的存儲變成原子級的能力,能夠給客戶一個統(tǒng)一的數(shù)據(jù)的,可以把底層所有的硬件用一套OS架構進行封裝。

當我們組建了統(tǒng)一的資源池以后,屏蔽差異化的介質(zhì),資源化管理,使得所有存儲能力放在同一個池子里分配,按照原來的方式,只能是提供40%的資源利用率,未來這樣的方式能夠讓你用70%的方式,還是能夠給你提供一個很好的存儲,還能避免副本膨脹。

比如目前我們在自動駕駛的開發(fā)過程,需要車輛行駛數(shù)據(jù),再拷貝到高性能計算里來開發(fā),未來我們用這一套數(shù)據(jù),實際存儲時可以及時對接到高性能計算的計算資源。不需要數(shù)據(jù)再在企業(yè)數(shù)據(jù)中心內(nèi)反復全量拷貝,而是通過一套存儲管理引擎DME進行統(tǒng)一管理,避免統(tǒng)一數(shù)據(jù)副本流動,使得熱冷溫數(shù)據(jù)按需調(diào)配。

統(tǒng)一數(shù)據(jù)管理要做到Storage for AI,我們更需要做到AI for storage,這是我們在云端的訓練,使得企業(yè)未來使用AI的方式做好精準的規(guī)劃,全局業(yè)務發(fā)放,智能運維和敏捷業(yè)務配置。目前,我們已經(jīng)能夠做到規(guī)劃用一周的時間調(diào)研,大約五分鐘做好全局資源發(fā)放,對比人山會海三小時的優(yōu)化,五分鐘就可以實現(xiàn)智能調(diào)優(yōu),包括未來故障預測可能提前幾個月,資源預發(fā)放擴容提前一年就可以,這是AI for storage,是設備到數(shù)據(jù)中心的變化,數(shù)據(jù)中心未來還有一個趨勢,需要更加走向云化,讓企業(yè)更好的走向云的時代,敏捷的業(yè)務開發(fā)。

ALL IP 推進數(shù)據(jù)中心網(wǎng)絡云化變革

我們認為數(shù)據(jù)中心目前還有一件事沒有做好,就是存儲的IP化,目前華為的存儲,不管是高可靠的存儲,還是海量的存儲,都已經(jīng)在我們自己的NVMe-oF基礎上得到數(shù)據(jù)的驗證,它的性能也更好,而且這樣的網(wǎng)絡能夠大大的使得存儲走向成熟,這樣的網(wǎng)絡瓶頸能從毫秒級走向微秒級的能力,這是我們希望未來幾年走向全IP。   

數(shù)據(jù)管理還需要適配容器。不僅如此,未來企業(yè)由于數(shù)據(jù)資產(chǎn)、安全等問題,不可避免很多業(yè)務會分割存儲,造成云時代的新silos(豎井),必須把數(shù)據(jù)變成云能夠識別的原子級能力結合到里面去,未來存儲應該是一套的,但要連接到多云,打破新的silo形態(tài)。

構建平滑演進能力,打造有生命力的存儲底座,徹底解決搬遷難題

所謂的新時代打造新數(shù)據(jù)中心,以閃存為主力核心的方式打造未來存儲,但是未來的存儲可能不再是以介質(zhì)來定義,更多的可能需要靠網(wǎng)絡和架構,尤其是架構這一生態(tài)定義,因為存儲不再是以前單獨的封閉系統(tǒng),必須考慮到面向云業(yè)務和上層業(yè)務的變化,以此來適應新數(shù)據(jù)中心的變化,那數(shù)據(jù)變化,必須有一套架構同時滿足高性能、高可靠,統(tǒng)一高效的存儲管理,面向多云的服務化連接和介入,具有平滑演進的能力。華為也會持續(xù)向著這些方面研究,與合作伙伴攜手為更多企業(yè)的數(shù)字化轉(zhuǎn)型提供更好的前進方向。

2020中國數(shù)據(jù)與存儲峰會

2020年11月18日,在北京召開的”2020中國數(shù)據(jù)與存儲峰會”在北京舉行,吸引了線上線下數(shù)千名行業(yè)內(nèi)人士的共同關注。

本次峰會為期兩天,由百易傳媒(DOIT)主辦,以”新數(shù)智·新未來”為主題,特邀中國工程院鄭緯民院士以及中國電子學會、中國計算機學會存儲專委會、SNIA等單位的嘉賓,與西部數(shù)據(jù)、英特爾、浪潮、IBM、華為、戴爾科技集團、新華三、深信服、紫晶存儲、青云QingStor、威固、Memblaze等領先供應商以及北京建工、平安科技、紅星酒業(yè)等典型企業(yè)用戶代表,探討新數(shù)據(jù)時代存儲技術發(fā)展趨勢,分享數(shù)字化轉(zhuǎn)型成果,共話智慧存儲未來。

分享到

崔歡歡

相關推薦