圖:華為OceanStor分布式存儲(chǔ)營銷總監(jiān)王飛
大家有沒有注意到,今天大會(huì)所有分論壇的議題,只有分布式存儲(chǔ)這個(gè)分論壇議題從上午下午都有貫穿整天滿滿一天,其他的分論壇都是半天。這從側(cè)面反映了當(dāng)前分布式存儲(chǔ)在業(yè)界火熱的程度。
云和AI時(shí)代,數(shù)據(jù)迎來海量增長
分布式存儲(chǔ)整個(gè)產(chǎn)業(yè)近幾年快速的發(fā)展和云計(jì)算在企業(yè)產(chǎn)生普及密不可分,云計(jì)算把企業(yè)各種類型的數(shù)據(jù)割裂的數(shù)據(jù)給整合到一起,必須要一個(gè)高擴(kuò)展性存儲(chǔ)架構(gòu)支撐。
面向未來大數(shù)據(jù)時(shí)代智能時(shí)代,分布式存儲(chǔ)面臨哪些挑戰(zhàn),華為在這個(gè)領(lǐng)域我們是怎么做的?今天和大家簡單聊一聊。
剛才講了云計(jì)算把企業(yè)割裂的業(yè)務(wù)和離散的數(shù)據(jù)整合到一起,大數(shù)據(jù)和AI這些新的生產(chǎn)工具的數(shù)據(jù)價(jià)值被企業(yè)重新認(rèn)可,又會(huì)帶來新一輪數(shù)據(jù)增長高潮。
華為GIV報(bào)告顯示,每年數(shù)據(jù)增量全球數(shù)據(jù)增量從2018年32ZB, 2025年增長到180ZB,海量數(shù)據(jù)增長來源于哪里?
一是5G,2019年整個(gè)通信行業(yè)最熱的話題一定是5G,在中國5G網(wǎng)絡(luò)已經(jīng)商用了,全球其他TOP運(yùn)營商也開始了部署,5G通過高帶寬、低時(shí)延、多接入的能力,讓萬物互聯(lián)成為可能,而海量的連接,給運(yùn)營商的業(yè)務(wù)和數(shù)據(jù)帶來十倍以上的壓力。
二是超高清產(chǎn)業(yè)。我們知道,4K已經(jīng)走進(jìn)了尋常百姓家,今年雙十一我想買75寸的電視,當(dāng)然是4K的,發(fā)現(xiàn)現(xiàn)在75寸4K電視,只需要 3999元,側(cè)面說明了4K這個(gè)產(chǎn)業(yè)其實(shí)已經(jīng)普及了。今年春晚央視通過4K+5G進(jìn)行了春晚直播,給我們帶來不一樣的體驗(yàn),華為OceanStor分布式存儲(chǔ)也參與了央視高清制作島的建設(shè)。而8K的標(biāo)準(zhǔn)也已經(jīng)基本建立,今年上半年華為和中國聯(lián)通發(fā)布了8K+5G技術(shù)白皮書,8K視頻每一個(gè)小時(shí)數(shù)據(jù)量達(dá)到10TB,是1080高清的40倍以上。
自動(dòng)駕駛是當(dāng)前整個(gè)制造行業(yè)、汽車行業(yè)最火的話題,在自動(dòng)駕駛汽車研發(fā)過程中,車企需要部署幾臺(tái)最多幾十臺(tái)的測(cè)試車輛開展路測(cè),車上遍布各種激光雷達(dá)、毫米波雷達(dá)和視頻攝像頭,實(shí)時(shí)采集各種路況信息,這些數(shù)據(jù)匯總到數(shù)據(jù)中心進(jìn)行AI訓(xùn)練,每一輛車每天采集的數(shù)據(jù)可能達(dá)到30到60TB,一個(gè)汽車要商用,通常需要2000萬公里路測(cè)數(shù)據(jù),整個(gè)數(shù)據(jù)量可以達(dá)到EB級(jí)。
最后看一下基因測(cè)序,二十世紀(jì)人類有三大工程,第一個(gè)是曼哈頓原子彈工程,第二個(gè)阿波羅登月工程,第三類人類基因組工程。從1990—2003我們花了13年時(shí)間,很多國家參與,耗資30億美元,得到了3TB的人類基因組測(cè)序數(shù)據(jù),這還不是所有物種里面最大的,小麥水稻全基因組比人類基因組更大?,F(xiàn)在基因測(cè)序不需要30億美元那么多,幾百美元就可以做一次基因測(cè)序。華大基因桌面級(jí)的基因測(cè)序級(jí)就是一個(gè)PC的大小,價(jià)格大概十多萬元,他們最先進(jìn)的基因測(cè)序儀每天日產(chǎn)數(shù)據(jù)量可以達(dá)到6個(gè)TB,一年下來就是兩個(gè)PB,這僅僅是一臺(tái)基因測(cè)序儀產(chǎn)生的數(shù)據(jù)量。
以分布式存儲(chǔ)應(yīng)對(duì)海量多樣性數(shù)據(jù)挑戰(zhàn)成為企業(yè)首選
再來聊一聊數(shù)據(jù)多樣化的問題。
隨著企業(yè)數(shù)字化轉(zhuǎn)型深入,越來越多業(yè)務(wù)如雨后春筍一樣出現(xiàn),帶來業(yè)務(wù)的多樣性數(shù)據(jù)多樣性,各種不同類型的數(shù)據(jù)同時(shí)存在,以前對(duì)企業(yè)來說最核心的數(shù)據(jù)是以數(shù)據(jù)庫為代表的傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù),比如說企業(yè)的財(cái)務(wù)系統(tǒng)、計(jì)費(fèi)系統(tǒng)、客戶關(guān)系管理系統(tǒng)等等。其實(shí)企業(yè)還有80%數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)以文檔、音視頻形式存在。比如說視頻監(jiān)控、一些系統(tǒng)設(shè)備運(yùn)行的日志,這些數(shù)據(jù)被認(rèn)為是價(jià)值相對(duì)來說比較低的。海量多樣性的這些數(shù)據(jù),如何去有效的承載,也是企業(yè)未來面對(duì)的問題。
1.數(shù)據(jù)存儲(chǔ),全生命周期每bit成本最優(yōu)
針對(duì)于海量多樣性數(shù)據(jù)的挑戰(zhàn),業(yè)界各個(gè)行業(yè)怎么應(yīng)對(duì)的?這里選了兩個(gè)比較典型的,一個(gè)運(yùn)營商一個(gè)金融。大家可以發(fā)現(xiàn)一個(gè)共同點(diǎn):在他們核心的業(yè)務(wù)系統(tǒng)里,基本上繼續(xù)走著高端路線,逐漸走向閃存,非核心外圍的系統(tǒng),分布式存儲(chǔ)已經(jīng)成為首選。比如說運(yùn)營商BOM非核心業(yè)務(wù),承載資源池里采用這種分布式存儲(chǔ)承載,還有金融渠道接入業(yè)務(wù)、票據(jù)影像業(yè)務(wù),需要彈性規(guī)模擴(kuò)展。
講到這里,當(dāng)前業(yè)界大家爭(zhēng)論比較多的是關(guān)于集中式存儲(chǔ)和分布式存儲(chǔ)定位的問題。
集中式存儲(chǔ)分布式存儲(chǔ)某些場(chǎng)景確實(shí)存在交叉的,但產(chǎn)品定位各有側(cè)重,集中式存儲(chǔ)定位在以數(shù)據(jù)庫為代表的關(guān)鍵業(yè)務(wù),然后分布式存儲(chǔ)更多考慮非關(guān)鍵的非結(jié)構(gòu)化的數(shù)據(jù)。傳統(tǒng)這種關(guān)鍵業(yè)務(wù)分布式存儲(chǔ)能不能承載,要是能力有也可以做,并不意味著這是主要方向。
我覺得大家還是應(yīng)該把場(chǎng)景給區(qū)分開。
分布式存儲(chǔ)解決企業(yè)存儲(chǔ)擴(kuò)展性問題,讓企業(yè)有能力去把這些海量的數(shù)據(jù)存下來,還有一個(gè)關(guān)鍵的問題沒有解決,就是企業(yè)有沒有意愿存這么多數(shù)據(jù),背后最關(guān)鍵的因素就是數(shù)據(jù)存儲(chǔ)的成本問題。不解決成本問題,所有的擴(kuò)展性都是空談,因?yàn)樵诋?dāng)前,絕大多數(shù)企業(yè)來說,他們IT系統(tǒng)更多是一個(gè)成本中心而不是利潤中心,成本中心必須考慮建設(shè)成本維護(hù)成本。
2.數(shù)據(jù)挖掘,融合分析讓每bit價(jià)值最大
基于成本的壓力,很多數(shù)據(jù)企業(yè)沒有辦法長期保存,原來想要保存六個(gè)月,成本降到三個(gè)月,很多數(shù)據(jù)直接丟棄了。所以我覺得分布式存儲(chǔ)這個(gè)產(chǎn)業(yè)下一階段如何降成本。怎么降?兩個(gè)方面,第一個(gè)開源第二個(gè)節(jié)流。
先講一下節(jié)流。降低數(shù)據(jù)生命周期的存儲(chǔ)成本,讓成本更優(yōu)。首先解決的問題就是多樣性數(shù)據(jù)存儲(chǔ)問題,以前要存一種設(shè)備一種協(xié)議,到一種設(shè)備多種協(xié)議,我們通過一套設(shè)備一個(gè)架構(gòu)支撐這種不同類型,同時(shí)降低數(shù)據(jù)中心采購和維護(hù)的成本。其實(shí)現(xiàn)在業(yè)界三核心四核心講的比較多,很多企業(yè)落地了相應(yīng)的產(chǎn)品和能力。
第二個(gè)要關(guān)心的就是承載企業(yè)更高的業(yè)務(wù)能力。以前絕大多數(shù)客戶對(duì)分布式存儲(chǔ)的印象是低成本、低性能、低可靠。這個(gè)現(xiàn)象我們必須要去扭轉(zhuǎn),低成本高性能高可靠,或者說用最合適的成本解決用戶承載不管是認(rèn)為可靠性比較低,性能比較低的業(yè)務(wù),還是承載可靠性高性能高數(shù)據(jù)滿足需求。
數(shù)據(jù)增長帶來的海量設(shè)備的問題,如何更高效管理,用自動(dòng)化手段解決,降低企業(yè)運(yùn)維成本也是帶來的價(jià)值。
下一個(gè),開源。我們知道,這個(gè)開源不是軟件開源,而是通過各種分析挖掘,讓數(shù)據(jù)更多體現(xiàn)價(jià)值,當(dāng)數(shù)據(jù)有了價(jià)值之后,企業(yè)才有意愿去存更多的數(shù)據(jù)。
數(shù)據(jù)湖建設(shè)是很多企業(yè)新的數(shù)據(jù)基礎(chǔ)建設(shè)的方向,分布式存儲(chǔ)作為數(shù)據(jù)湖的底座支撐,未來需要做哪些事來讓數(shù)據(jù)分析效率更高?我們認(rèn)為有這三個(gè)方面。
第一,在數(shù)據(jù)多協(xié)議合一的前提下實(shí)現(xiàn)數(shù)據(jù)的互通,一個(gè)數(shù)據(jù)用對(duì)象存進(jìn)來,大數(shù)據(jù)系統(tǒng)直接分析,用文件存進(jìn)來,對(duì)象去讀出,直接用于發(fā)布。一份數(shù)據(jù)多種用途,而不需要像原來在不同的協(xié)議不同的存儲(chǔ)之間做數(shù)據(jù)的遷移,做數(shù)據(jù)的格式轉(zhuǎn)換,這種方式使得我們分析效率大幅度提升。
第二,數(shù)據(jù)庫存算融合,我們知道,數(shù)據(jù)庫有一些算子,所做的操作把數(shù)據(jù)從存儲(chǔ)面讀出來讀到計(jì)算里面,有一讀一寫的過程;我們將這個(gè)算子下移到了存儲(chǔ)層實(shí)現(xiàn),數(shù)據(jù)庫調(diào)用存儲(chǔ)接口,存儲(chǔ)內(nèi)部進(jìn)行操作,反饋回結(jié)果就可以了,這是數(shù)據(jù)庫算子下推。
第三,大數(shù)據(jù)存算分離。這不是新的概念。為什么前幾年沒有普及起來,一個(gè)很大的問題,原來企業(yè)大數(shù)據(jù)的建設(shè)還沒有普及,即使到了現(xiàn)在,運(yùn)營商,公安,金融,這三個(gè)行業(yè)的大數(shù)據(jù)有非常廣泛的應(yīng)用,而其他行業(yè)還是零零星星的應(yīng)用,隨著大數(shù)據(jù)普及,以前企業(yè)大數(shù)據(jù)平臺(tái)也是存在孤島,各個(gè)平臺(tái)之間數(shù)據(jù)割裂的,沒有辦法做全量分析,導(dǎo)致數(shù)據(jù)分析效率不高。通過分布式存儲(chǔ)提供原生大數(shù)據(jù)接口,支撐所有大數(shù)據(jù)放在一個(gè)資源池里面,任何大數(shù)據(jù)平臺(tái)都可以調(diào)用,這種方式,可以實(shí)現(xiàn)數(shù)據(jù)全量的分析,不需要倒來倒去,也是數(shù)據(jù)價(jià)值提升的一個(gè)手段。
OceanStor D系列:新一代智能分布式存儲(chǔ)
來看看華為怎么做的。
今年五月份,華為面向全球發(fā)布了FusionStorage智能分布式存儲(chǔ),這也是我們分布式存儲(chǔ)一直以來的名字。從明年1月1日開始華為分布式存儲(chǔ)將改名為OceanStor分布式存儲(chǔ),后續(xù)華為所有存儲(chǔ)品牌會(huì)統(tǒng)一歸到OceanStor,這個(gè)品牌下面有集中式存儲(chǔ)有分布式存儲(chǔ),這是我們戰(zhàn)略上的變化,對(duì)我們產(chǎn)品規(guī)劃其實(shí)沒有任何影響。
分布式存儲(chǔ)怎么對(duì)應(yīng)剛才的兩點(diǎn)提升的效率,第一個(gè)是Storage for AI,通過智能的算法,通過協(xié)議的智能融合,打破數(shù)據(jù)孤島,匯聚數(shù)據(jù)激發(fā)價(jià)值。另一方面是AI in Storage,把AI融入分布式存儲(chǔ)全生命周期的智能管理,讓管理更高效,最終實(shí)現(xiàn)極簡融合極速體驗(yàn)極致效率。
OceanStor分布式存儲(chǔ)核心競(jìng)爭(zhēng)力及關(guān)鍵技術(shù)
華為分布式存儲(chǔ)的核心競(jìng)爭(zhēng)力在于三個(gè)方面。
一是我們做公有云,分布式存儲(chǔ)為我們的公有云提供塊、對(duì)象、文件和大數(shù)據(jù)服務(wù),天然具備有公有云所需要的海量擴(kuò)展能力。二是企業(yè)級(jí)的存儲(chǔ)能力,華為從十多年前進(jìn)入存儲(chǔ)領(lǐng)域,早已經(jīng)是中國區(qū)領(lǐng)頭羊,現(xiàn)在分布式存儲(chǔ)也做到國內(nèi)的市場(chǎng)連續(xù)多年第一的位置。在集中式存儲(chǔ)里面有很多高級(jí)的能力,比如說可靠性、性能、可維護(hù)性相關(guān)的。這些能力我們都繼承下來,平滑移植到分布式存儲(chǔ)里。三是華為自研的芯片,我們的鯤鵬處理器融入到分布式存儲(chǔ)硬件里。
可能有人有疑問,自研的芯片就是好的嗎?未必,需要看軟件和硬件做了哪些不一樣的內(nèi)容?我們常用的算法,比如壓縮、DIF算法等,我們把算法邏輯做到CPU里,通過硬件邏輯實(shí)現(xiàn),效率時(shí)延比通用高很多。在硬件層面,我們有自己的X86服務(wù)器,但鯤鵬處理器架構(gòu)是我們主推的產(chǎn)品。
講到這里,我順便提一下現(xiàn)在業(yè)界爭(zhēng)論比較多的,分布式存儲(chǔ)到底是軟硬結(jié)合還是軟硬分離。
其實(shí)從最早分布式存儲(chǔ),或者軟件定義存儲(chǔ),這個(gè)理念從互聯(lián)網(wǎng)來的基于標(biāo)準(zhǔn)這些服務(wù)器,通過開源軟件自己構(gòu)建分布式存儲(chǔ)服務(wù),這個(gè)對(duì)互聯(lián)網(wǎng)適用的,對(duì)企業(yè)客戶適不適用?企業(yè)客戶更關(guān)注可維護(hù)性,從這個(gè)角度看,我覺得是軟硬一體的架構(gòu)更適合,軟硬分離或者基于開源的組件自己去做很難實(shí)現(xiàn)的,這是華為的觀點(diǎn)。我們也會(huì)堅(jiān)定走軟硬一體的路線。
基于這三方面核心競(jìng)爭(zhēng)力,我們有一些關(guān)鍵的技術(shù),高效率的彈性EC,動(dòng)態(tài)重刪壓縮,然后是高性能,F(xiàn)lashLink加速,高性能IO聚合,可靠性方面,跨集群的A-A雙活與亞健康檢測(cè)端到端DIF,以及易運(yùn)維智能風(fēng)預(yù)測(cè)。
首先彈性EC。EC是分布式存儲(chǔ)通用的技術(shù),同樣的可靠性情況下,利用率可以增加很多,三副本利用率33%,通過EC,利用率可以達(dá)到66%,甚至可以做到更高。華為EC做到22+2,利用率高達(dá)91%。把EC利用率做高不是大的問題,關(guān)鍵一個(gè)問題需要解決,EC會(huì)帶來的一個(gè)寫懲罰的問題,EC高性能下降越快,如何在性能和磁盤之間的均衡。我們現(xiàn)在是通過彈性EC可以實(shí)現(xiàn)相同可靠性下EC的性能與副本持平,在利用率提升下性能還不降,這是我們獨(dú)特的地方。記得今年三月份的時(shí)候深圳舉辦的多IT分布式存儲(chǔ)的分會(huì)里面,也有人質(zhì)疑,你不可能做到的。我們也在向大家邀請(qǐng),大家有質(zhì)疑的,可以到項(xiàng)目里面測(cè)試,到華為實(shí)驗(yàn)室一起測(cè),這是一個(gè)開放的態(tài)度。
第二個(gè)是業(yè)內(nèi)首個(gè)數(shù)據(jù)中心級(jí)雙活:為關(guān)鍵業(yè)務(wù)提供99.9999%可靠性。數(shù)據(jù)真雙活,是華為集中式存儲(chǔ)兩地三中心的能力移植過來的,可以實(shí)現(xiàn)100公里兩毫秒集群的雙活,現(xiàn)在我們?cè)趯?shí)際部署遼寧移動(dòng)同城十七公里數(shù)據(jù)中心并且商用,運(yùn)行到分布式存儲(chǔ)上面來的。
第三,端到端DIF。如果存儲(chǔ)服務(wù)器出現(xiàn)了數(shù)據(jù)靜默錯(cuò)誤,會(huì)導(dǎo)致了文件系統(tǒng)源數(shù)據(jù)損壞,對(duì)于初創(chuàng)企業(yè)丟失了創(chuàng)立以來業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),基本上公司就毀了。數(shù)據(jù)靜默錯(cuò)誤或者對(duì)數(shù)據(jù)一致性不重視產(chǎn)生的教訓(xùn)由此可見。我們?cè)谌齻€(gè)方面實(shí)現(xiàn)端到端DIF,第一個(gè)在線校驗(yàn),寫入磁盤的檢查校驗(yàn)位。磁盤本地會(huì)做周期性的校驗(yàn),在業(yè)務(wù)量比較低的情況下,避免數(shù)據(jù)靜默錯(cuò)誤和跳變。在數(shù)據(jù)讀出的時(shí)候主機(jī)還會(huì)做一次檢驗(yàn),確保讀出數(shù)據(jù)和磁盤數(shù)據(jù)一致的,數(shù)據(jù)出現(xiàn)不一致怎么辦,優(yōu)先通過本地副本、EC分片恢復(fù),本地副本和分片都?jí)牧耍ㄟ^異地容災(zāi)中心副本做恢復(fù)。
除了節(jié)點(diǎn)數(shù)可以增加,容量可以增加,針對(duì)對(duì)象存儲(chǔ),華為還關(guān)注能夠承載對(duì)象的數(shù)量,華為做到單桶1000億對(duì)象。性能衰減比較快,也是業(yè)界的難題,華為解決了這個(gè)難題,可以讓通常的業(yè)界比較多的單桶千萬級(jí)到十億級(jí),擴(kuò)展到千億級(jí),很多地方有應(yīng)用場(chǎng)景的,某大城市交警的卡口,有20000個(gè)交通攝像頭,還有像金融、車聯(lián)網(wǎng),按照國家規(guī)定網(wǎng)聯(lián)汽車每15秒鐘上報(bào)一次認(rèn)證信息,未來數(shù)百萬上千萬輛網(wǎng)聯(lián)汽車數(shù)據(jù)每15秒上報(bào),這個(gè)量有多大。在實(shí)現(xiàn)數(shù)據(jù)對(duì)象增加的同時(shí),我們還實(shí)現(xiàn)性能不降的,性能穩(wěn)定的,這個(gè)我們經(jīng)過第三方機(jī)構(gòu)測(cè)評(píng),有真實(shí)的數(shù)據(jù)和報(bào)告。
四是智能的風(fēng)險(xiǎn)預(yù)測(cè),這不僅僅是依賴于華為存儲(chǔ)本地,也和云端的能力相結(jié)合,華為有超過兩個(gè)P的特征數(shù)據(jù),以及1000家業(yè)務(wù)場(chǎng)景,能夠和本地存儲(chǔ)的數(shù)據(jù)進(jìn)行聯(lián)動(dòng),在客戶允許的情況下,把這些數(shù)據(jù)收上來做數(shù)據(jù)分析,可以提前14天發(fā)現(xiàn)可能出現(xiàn)硬盤的故障風(fēng)險(xiǎn),對(duì)于性能的潮汐分析,能夠提前60天識(shí)別性能瓶頸,還有精準(zhǔn)的分析,提前365天預(yù)測(cè)存儲(chǔ)的趨勢(shì),這個(gè)是我們AI方面的積累。
大數(shù)據(jù)存算分離方案:改變規(guī)則,重塑數(shù)據(jù)價(jià)值
前面講的是技術(shù),接下來講一個(gè)方案,大數(shù)據(jù)存算分離的方案。通常大家心目中大數(shù)據(jù)就是一個(gè)服務(wù)器既有計(jì)算又有存儲(chǔ),計(jì)算存儲(chǔ)離的近,確實(shí)是一個(gè)優(yōu)勢(shì),但是我們大數(shù)據(jù)應(yīng)用中發(fā)現(xiàn),企業(yè)大數(shù)據(jù)業(yè)務(wù)計(jì)算存儲(chǔ)不是均衡的,像運(yùn)營商日志留存系統(tǒng),這些數(shù)據(jù)存進(jìn)來只是偶爾查詢,計(jì)算需求非常低,存儲(chǔ)需求非常高,存儲(chǔ)不足的時(shí)候擴(kuò)一臺(tái)服務(wù)器,存儲(chǔ)擴(kuò)了計(jì)算也跟著擴(kuò),對(duì)資源系統(tǒng)很大的消耗,因此我們要做大數(shù)據(jù)的存算分離,華為提供了原生的接口,把大數(shù)據(jù)接口分出來。
存算分離有什么好處?最直觀的計(jì)算不夠擴(kuò)計(jì)算,存儲(chǔ)不夠擴(kuò)存儲(chǔ)非常靈活,不會(huì)造成資源浪費(fèi),分離之后計(jì)算資源可以做云化。
以前講大數(shù)據(jù)云化不能做,現(xiàn)在分離之后計(jì)算可以做虛擬化可以做云化,實(shí)現(xiàn)一些自動(dòng)化服務(wù)化的能力,大幅度提升大數(shù)據(jù)的效率。
通過專業(yè)的存儲(chǔ)承載,華為大數(shù)據(jù)的存儲(chǔ),剛才講了我用EC做,EC磁盤可以達(dá)到91%,原來采用本地的HDFS,通常使用三副本利用率只有33%,即便現(xiàn)在開源也推出了EC,EC只能做到66%,基本上不能商用,這也是存算分離帶來另外一個(gè)好處。
剛才前面也提到了,企業(yè)因?yàn)闅v史原因,大數(shù)據(jù)平臺(tái)建設(shè)割裂的,有很多數(shù)據(jù)孤島,通過華為大數(shù)據(jù)統(tǒng)一資源池,所有數(shù)據(jù)都放在資源池里面,任何平臺(tái)都可以調(diào)用,通過這種開放方式大數(shù)據(jù)資源整合,大數(shù)據(jù)管理也簡單,大數(shù)據(jù)使用也更加簡單。
OceanStor分布式存儲(chǔ)創(chuàng)新引領(lǐng),加速行業(yè)數(shù)字化轉(zhuǎn)型
無論是政府、金融、運(yùn)營商、大企業(yè),分布式存儲(chǔ)都有非常多的應(yīng)用,我這里還沒有列舉完,只是比較典型的比較重要的。
分布式存儲(chǔ)的應(yīng)用場(chǎng)景三個(gè)案例。
第一個(gè)中國移動(dòng)遼寧分公司。遼寧移動(dòng)和我們合作非常早,從2014年開始第一次合作在開發(fā)測(cè)試環(huán)節(jié)應(yīng)用分布式存儲(chǔ),現(xiàn)在分布式存儲(chǔ)已經(jīng)達(dá)到了10多個(gè)PB。最新今年把最核心的BOSS系統(tǒng)遷移到分布式存儲(chǔ)。還有經(jīng)營分析,時(shí)延從九毫秒降低到兩毫秒,提升了五倍,原來做一次分析需要60個(gè)小時(shí),現(xiàn)在只要10個(gè)小時(shí)。經(jīng)營分析對(duì)企業(yè)的價(jià)值是可以及時(shí)調(diào)整策略。第二個(gè)是招商銀行,招商銀行和我們合作比較早,2015年開始,開發(fā)測(cè)試環(huán)節(jié)后來分布式存儲(chǔ)替代,VDI,數(shù)據(jù)庫大數(shù)據(jù),今年在大數(shù)據(jù)場(chǎng)景合作,使用存算分離,精準(zhǔn)營銷,提供四種存儲(chǔ)類型。還有這樣一個(gè)大數(shù)據(jù)存算分離的案例,新加坡S公司以前使用開源Hadoop承載研發(fā)的日志的數(shù)據(jù)。原來是需要15個(gè)機(jī)柜,EC利用率僅66%,通過OceanStor分布式存儲(chǔ),我們把計(jì)算和存儲(chǔ)分開,計(jì)算只需要兩個(gè)機(jī)柜,存儲(chǔ)通過兩個(gè)方式實(shí)現(xiàn)節(jié)省,第一個(gè)方式EC利用率提升91%;第二是使用36盤位替代,機(jī)柜數(shù)節(jié)省了46 %,單機(jī)柜節(jié)省64%。
以創(chuàng)新贏得認(rèn)可,打造海量多樣性數(shù)據(jù)底座
今年5月份,華為在東京Interop獲得了金獎(jiǎng),了解的人都知道這是IT界奧斯卡一個(gè)獎(jiǎng),這個(gè)獎(jiǎng)非常來自不易。第二是2018年中國區(qū)分布式存儲(chǔ)市場(chǎng)份額NO1,2019年結(jié)果還未最終出來,華為應(yīng)該也是第一。第三個(gè)今年的中國移動(dòng)的三個(gè)集采,分布式文件集采,分布式塊集采,還有NFV總包都獲得了第一。
未來我們希望能夠更多的和產(chǎn)業(yè)界同仁持續(xù)拓展大分布式存儲(chǔ)的產(chǎn)業(yè),通過技術(shù)創(chuàng)新去贏得客戶的認(rèn)可,一起攜手打造分布式存儲(chǔ)產(chǎn)業(yè),一起打造智能時(shí)代海量數(shù)據(jù)性底座,感謝大家。
編后:本次2019中國數(shù)據(jù)與存儲(chǔ)峰會(huì)(DATA & STORAGE SUMMIT)為期兩天,包含主論壇、CIO高峰對(duì)話,以及大數(shù)據(jù)、閃存系統(tǒng)、分布式存儲(chǔ)、第二存儲(chǔ)與容災(zāi)備份、超融合與云存儲(chǔ)、人工智能、數(shù)據(jù)創(chuàng)新與安全可控、容器創(chuàng)新與應(yīng)用、SCM第五代存儲(chǔ)與閃存控制器等十大主題論壇,超過100場(chǎng)的專業(yè)知識(shí)分享。初步統(tǒng)計(jì),本屆峰會(huì)吸引了來自政、企、產(chǎn)、學(xué)、研、媒體等各方參會(huì)者約2000人,在線直播觀看觀眾再創(chuàng)新高,超過10萬余人次。