圖:浪潮分布式存儲產(chǎn)品總監(jiān)趙帥

趙帥:各位好,尊敬的各位來賓大家下午好!很高興有這樣一個機(jī)會和大家聚在一起探討分布式存儲的話題。開場之前我走了一下其他的分論壇,發(fā)現(xiàn)我們這個論壇的人群是最多的,后邊還加了很多座位,我個人認(rèn)為這是一個好現(xiàn)象,平時客戶和廠商,雖然會討論很多熱門話題與概念,相對來說我們更關(guān)心的是一些底層的基礎(chǔ)設(shè)施的產(chǎn)品和方案。

新數(shù)據(jù)時代,新挑戰(zhàn)

在整個大的社會環(huán)境下,當(dāng)前各行各業(yè)都在推進(jìn)著數(shù)字化轉(zhuǎn)型,在數(shù)字化轉(zhuǎn)型的過程當(dāng)中,無論是客戶也好還是廠商,會遇到一系列的問題,比如精細(xì)化的問題,我們在追求數(shù)據(jù)的時候,越來越多的去追求數(shù)據(jù)的在空間和時間上的精細(xì)化,這對于業(yè)務(wù)訪問層面,對后端存儲層面都提出來不小的壓力;再有即時性問題,一些實時交易需要很低的延遲;有整合化問題,我相信在座各位客戶的機(jī)房當(dāng)中一定有各種各樣的業(yè)務(wù),有不同廠商的設(shè)備,之間如何統(tǒng)一管理,業(yè)務(wù)和業(yè)務(wù)之間能不能打通,數(shù)據(jù)能否自由流動?這是整合化帶來的問題;再有就是不確定性,有一些熱點(diǎn)話題,一旦觸發(fā)對最終用戶來說產(chǎn)生一個無法預(yù)測式的訪問, IT系統(tǒng)能不能承接突發(fā)大流量訪問,這是不確定性帶來的挑戰(zhàn)。

新數(shù)據(jù)時代下,挑戰(zhàn)和機(jī)會是并存的,IDC最新預(yù)測2025中國會成為全球最大的數(shù)據(jù)圈,未來我們還是要更多關(guān)心數(shù)據(jù)的存儲與管理相關(guān)的話題。

一起看一下浪潮分布式存儲。

超大規(guī)模數(shù)據(jù)中心級分布式存儲平臺AS13000G5

在分布式存儲領(lǐng)域,浪潮提出了“分布式存儲平臺”概念,為什么叫平臺,是說我們希望通過平臺來解決用戶的很多的問題,甚至說未來我們目標(biāo)是為了解決整個數(shù)據(jù)中心的問題。

我們分布式存儲平臺是在今年三月份發(fā)布的,有一個概念5+X,分為兩個層面,一個硬件5+X,一個軟件的5+X。硬件的5+X,基于浪潮強(qiáng)大的服務(wù)器產(chǎn)品線,支持五種不同類型的硬件服務(wù)器,包括機(jī)架式、機(jī)柜式、多節(jié)點(diǎn)異構(gòu)式種種類型服務(wù)器和分布式存儲軟件進(jìn)行適配,每種服務(wù)器配置非常靈活,根據(jù)業(yè)務(wù)需求業(yè)務(wù)特點(diǎn)配置不同的CPU,IO卡以及GPU卡,這是硬件層面的5+X。

為什么這么注重硬件?我們相信,做一款產(chǎn)品的時候,無論任何領(lǐng)域的產(chǎn)品都有一句話,硬件是基礎(chǔ)、軟件是靈魂。在業(yè)內(nèi)我們和其他公司有硬件級的合作,大家也都聽說過。

浪潮分布式存儲軟件,在AS13000G5前身2013年上市的時候,提出了多合一的概念,在一套存儲系統(tǒng)中可以同時對外提供三種不同的服務(wù),后來從三合一轉(zhuǎn)化為了四合一,有了大數(shù)據(jù)的對接,可以更好的替代HDFS。AS13000G5發(fā)布的時候追加了數(shù)據(jù)庫訪問協(xié)議,做了一個領(lǐng)先的預(yù)測,認(rèn)為很多超大規(guī)模的數(shù)據(jù)庫,因為數(shù)據(jù)量特別大,對于系統(tǒng)的訪問延遲要求并不是很高,這些數(shù)據(jù)庫可以很好落到分布式存儲上。

我們軟件層面有五種業(yè)務(wù),在業(yè)界與第三方公司,如做文件云做加密的,做流直存的等做了深度集成,在AS13000容器和虛擬化技術(shù)分離出來一部分資源,把第三方軟件打包在AS13000統(tǒng)一給用戶,除了采購AS13000不用采購其他設(shè)備,大大減少用戶整個TCO,為用戶節(jié)省了成本。

經(jīng)過多年的發(fā)展,我們對該產(chǎn)品在分布式存儲所應(yīng)對的場景中進(jìn)行了分類,八大場景,包括平安城市、高性能計算、云、大數(shù)據(jù)、AI、廣電媒資、電子影像和傳統(tǒng)應(yīng)用。平安城市交通卡口的圖片這種業(yè)務(wù)下我們會給最終用戶提供一個存儲平臺。在廣電媒資領(lǐng)域,我們和廣電有深厚的合作。在電子影像這一塊有幾個小的分支,如大家平時接觸金融雙錄系統(tǒng),錄音錄像最終落到分布式存儲里面,因為數(shù)據(jù)文件的數(shù)量非常大,再有醫(yī)院的判別系統(tǒng)。其他的像云計算大數(shù)據(jù)和人工智能,炒的比較熱,而且分布式存儲一直以來有一個概念為云而生的存儲,可以很好的對接云下邊的各種協(xié)議的接口。

數(shù)據(jù)中心級分布式存儲平臺AS13000G5

這個是我們現(xiàn)在AS13000G5最新版本的情況。

展開說一下浪潮硬件產(chǎn)品目前的一些特點(diǎn)。昨天我們也借著本次峰會發(fā)布了幾個型號的硬件,這里給大家分享一些干貨。

1)靈活多樣的硬件節(jié)點(diǎn)

第一個型號是4U60高密度H系列,特點(diǎn)之一是空間相對來說比較短,可以放在一米深的機(jī)柜里,適配現(xiàn)在市面上99%的機(jī)柜,可以裝到任何數(shù)據(jù)中心里。之所以打造這個型號,是互聯(lián)網(wǎng)廠商提出的硬件需求,因為浪潮一直以來產(chǎn)品是以用戶的業(yè)務(wù)為導(dǎo)向進(jìn)行研發(fā)設(shè)計。

第二個系列是高彈性X系列,可以做到4U72盤位,這樣的密度下配合14TB大容量硬盤,可以做到一個節(jié)點(diǎn)可以達(dá)到一個PB的空間。這個是一個高密的機(jī)型,還支持非常靈活的配置,可以把一個4U的節(jié)點(diǎn)內(nèi)部變成兩個小的36的節(jié)點(diǎn),也可以變成四個小的節(jié)點(diǎn)和八個小的節(jié)點(diǎn)。當(dāng)我們把這個設(shè)備交付給客戶的時候,一個節(jié)點(diǎn)就是一套分布式存儲,這個是我們一體機(jī)相關(guān)的解決方案。

第三,高性能P系列。大家可能聽過浪潮集團(tuán)旗下浪潮商用公司,里面有在具體一點(diǎn)是POWER架構(gòu)的服務(wù)器。我們也可以把分布式存儲軟件和POWER結(jié)合到一起,高主頻高線速,單節(jié)點(diǎn)IOPS性能加強(qiáng)。這是經(jīng)過客戶的對比節(jié)點(diǎn)的情況。

2)分布式存儲,極致容量與性能

接下來說一說分布式存儲的特點(diǎn)。

大家都知道分布式存儲用戶在采購的時候,提到一個空間利用率的問題,有一個安全水位的概念,安全水位不是我們提1024的轉(zhuǎn)換,也不是說糾刪碼和副本開銷之后剩余多少,所有軟硬件之后,系統(tǒng)格式化映射目錄的時候,到底能不能把目錄存滿,所有的廠商都沒有辦法把目錄存滿,這里面涉及到分布式存儲底層架構(gòu)的問題,要做節(jié)點(diǎn)和節(jié)點(diǎn)之間數(shù)據(jù)流動和IO的均衡,所以說各個廠商推薦的安全水位都不太一樣。

AS13000G5把之前90%的安全水位通過多機(jī)制和哈希計算系數(shù)提高到95%空間利用率,增長5%的點(diǎn)給用戶帶來的效益,用戶一次系統(tǒng)采購當(dāng)中可以少買幾個節(jié)點(diǎn),少買幾十塊硬盤,是一個比較有經(jīng)濟(jì)效的優(yōu)點(diǎn),除此之外我們還有千億級文件的支持,很多客戶項目當(dāng)中,很多時候客戶一天落到系統(tǒng)中需要落一億個文件,文件保存周期雖然不長,但是進(jìn)行了半個月或者是說一個月保存中需要分布式存儲支持千億級文件。浪潮經(jīng)過了國家級第三方測試機(jī)構(gòu)的驗證,支持千億級的文件。

分布式存儲更多的是去對接前端的云和前端的虛擬化,最近一兩年做了一件事和云進(jìn)行了全面的對接,取得了Openstack和VMmare的支持,不需要擔(dān)心系統(tǒng)的兼容性的問題。還有一點(diǎn)特別靈活,AS13000G5支持第二次開發(fā),浪潮存儲給用戶開放一些源代碼,和用戶一起適配調(diào)試優(yōu)化,在很多高性能場景當(dāng)中取得了非常好的效果,在不經(jīng)過優(yōu)化的情況下,一個存儲的節(jié)點(diǎn)可以跑出1.5到1.8的性能,優(yōu)化之后單節(jié)點(diǎn)可以跑出2.5 G的性能。除此之外,上一代的AS13000產(chǎn)品,分布式存儲的規(guī)模一個集群就是5120個節(jié)點(diǎn),這一代也沒有變;變化的是說每個節(jié)點(diǎn)最大容量變了,現(xiàn)在支持EB級的容量。

我們發(fā)現(xiàn),有很多客戶初始化配置的時候都是五個PB或者十個PB數(shù)據(jù)量起,確實是說我們遇到了數(shù)據(jù)爆炸式增長的問題,相信未來我們會越來越多用分布式存儲整合數(shù)據(jù)中心當(dāng)中各種各樣不同的數(shù)據(jù),整合我們數(shù)據(jù)中心當(dāng)中各種各樣的傳統(tǒng)應(yīng)用以及智能應(yīng)用。

3)協(xié)議自由轉(zhuǎn)換,輕松上云

接下來我們重點(diǎn)看一些有特色的亮點(diǎn)。前面提到了我們有一個概念叫多合一還有5+X,現(xiàn)在友商也都在做。就是說,無論大家去做多個系統(tǒng)的統(tǒng)一管理還是說做一個單一系統(tǒng)的多種服務(wù),這里邊會有一個繞不開的話題,就是協(xié)議的自由轉(zhuǎn)化,我現(xiàn)在接觸到了前端有一些客戶,他反饋的一個要求就是在本次采購,這一次IT系統(tǒng)建設(shè)的時候,不知道應(yīng)該采購什么樣的分布式存儲,不知道買分布式文件還是買分布式對象,未來有可能上云,上云可能會對接S3,現(xiàn)在有可能業(yè)務(wù)偏向于文件。因為我們支持有一種技術(shù)叫多元零拷貝的技術(shù),這種技術(shù)直白翻譯過來相當(dāng)于支持協(xié)議的自由轉(zhuǎn)換。怎么說呢?就是說用戶在最開始部署的時候可以部署分布式文件,可以存了很多數(shù)個TB的文件級的數(shù)據(jù)落到存儲上,后來有一天不想遷移修改,想把數(shù)據(jù)轉(zhuǎn)變成對象的數(shù)據(jù),對外提供對象的服務(wù),我們可以不需要經(jīng)過任何的其他的產(chǎn)品的幫助,不需要經(jīng)過底層的數(shù)據(jù)遷移拷貝鏡像,把這個數(shù)據(jù)從文件數(shù)據(jù)轉(zhuǎn)化為對象數(shù)據(jù)。

為什么支持這樣做,我們多合一最開始設(shè)計的時候,就是協(xié)議的自由轉(zhuǎn)換來支持的多合一。這個設(shè)計的思路從2013年發(fā)布AS13000就沒有變過,六年的時間我們軟件棧在原有設(shè)計思路上沒有轉(zhuǎn)換,沒有切換過軟件棧。

4)滿足不同業(yè)務(wù)需求的多中心容災(zāi)

很多用戶完成了一個數(shù)據(jù)中心的生命周期管理的時候,往往考慮下一步在異地建第二個數(shù)據(jù)中心,可能會有一個三到五年的規(guī)劃,涉及到了雙活數(shù)據(jù)中心以及兩地三中心,在很多金融行業(yè)都有實際落地。大家平時關(guān)注IDC分析報告,分布式存儲圈子里面,文件、塊和對象三種數(shù)據(jù)服務(wù)發(fā)展最快是對象,未來增長率最高是對象。浪潮存儲支持了對象的多數(shù)據(jù)中心的容災(zāi),多數(shù)據(jù)中心容災(zāi)體驗就和傳統(tǒng)的集中式的存儲是一樣的,比如說基于存儲做雙活,基于存儲做兩地三中心,采用的技術(shù)架構(gòu)也差不多,這里邊有一點(diǎn)就是第三條,支持智能WAN加速。

智能WAN加速是什么樣技術(shù)?在多數(shù)據(jù)中心之間采用異步數(shù)據(jù)復(fù)制,可以降低30%到50%鏈路帶寬。在容災(zāi)解決方案的建設(shè)過程當(dāng)中,有一半左右的預(yù)算被鏈路開銷掉了,對用戶來說也是非常大的一筆節(jié)省,是智能WAN加速帶來的體驗。分布式存儲在未來可以幫助越來越多的客戶去構(gòu)建容災(zāi)的系統(tǒng)。

從2019年上半年到現(xiàn)在下半年這么一年時間,在互聯(lián)網(wǎng)以及金融領(lǐng)域,越來越多的客戶在考慮用對象存儲去做雙活去做兩地三中心。

5)智能運(yùn)維AIOps

分布式存儲有一個概念是要存取海量數(shù)據(jù),所以要求分布式存儲要能夠不斷的去擴(kuò)展自己的規(guī)模。隨著時間的推移,我們會發(fā)現(xiàn)分布式存儲可能節(jié)點(diǎn)數(shù)量會達(dá)到一百多個節(jié)點(diǎn),會有好幾千塊硬盤需要用戶不停的去管理去更換去運(yùn)維。有沒有一個非常智能的一套軟件能夠幫助用戶的運(yùn)維人員減輕管理和運(yùn)維的壓力?是有的。浪潮有一款叫InView智能管理軟件可以管理浪潮全系列的存儲,包括集中式的混閃全閃以及分布式存儲,這款軟件部署之后,對環(huán)境內(nèi)部所有的分布式存儲節(jié)點(diǎn)進(jìn)行智能化存儲,用戶調(diào)節(jié)所有節(jié)點(diǎn)配置的時候,只需要在同一管理界面進(jìn)行簡單兩到三步操作就可以批量化配置。像故障監(jiān)控包括性能預(yù)測,各個廠商也都提到了。

這里邊說一個重點(diǎn)是深度優(yōu)化的功能,硬盤的故障預(yù)測,我們過去三年里面從廠商收集了五十萬塊硬盤的日志,拿回到數(shù)據(jù)中心實驗的環(huán)境下通過機(jī)器學(xué)習(xí)和AI分析之后,發(fā)現(xiàn)市場上常見的硬盤故障可以被預(yù)測的,比如說希捷,英特爾的,故障預(yù)測準(zhǔn)確率達(dá)到了兩周時間周期內(nèi)85%的精度。也就是說在統(tǒng)一管理軟件界面下,可以給用戶提供硬盤故障率智能感知,分布式存儲上面三千塊硬盤,未來兩周之內(nèi)會壞的是幾塊硬盤。目前這套智能管理系統(tǒng),包括我們的硬盤故障預(yù)測這個功能是促銷的,在2019年以及2020年上半年都不會收費(fèi),跟隨著AS13000G5一起銷售。

浪潮分布式存儲,國內(nèi)領(lǐng)先

大家都知道,分布式存儲用戶一旦采購了之后,就是在原有的分布式存儲上進(jìn)行不斷的擴(kuò)容。因為分布式存儲這個容量增速比集中式存儲大的,里邊存的大多數(shù)存的非結(jié)構(gòu)化數(shù)據(jù),經(jīng)過后臺數(shù)據(jù)分析發(fā)現(xiàn),確實有比較不錯的成績。重復(fù)購買率比較高,41%,也就是說每賣出去一百套,最終會有41個客戶會進(jìn)行重復(fù)的采購和擴(kuò)容。這個是我們現(xiàn)在取得的一個比較好的成績,前面提到了分布式存儲和云對接,大家都知道云無論是像公有云還是私有云這樣的分類,還是說你去按照政務(wù)云、企業(yè)云、通信云等等這樣分類,都可以用分布式存儲承載用戶前端各種應(yīng)用。

經(jīng)過多年的努力,浪潮的分布式存儲全國范圍內(nèi)實際云相關(guān)的項目落地也有很多,包括北京城市副中心,濟(jì)南市的政務(wù)云、山東省的政務(wù)云,廣西的政務(wù)云,內(nèi)蒙的政務(wù)云相關(guān)的規(guī)劃以及項目的最終落地,都和我們分布式存儲有很大的關(guān)系。

昨天論壇中我們也提到了,國內(nèi)的某個率先進(jìn)行了IT架構(gòu)轉(zhuǎn)型的大規(guī)模運(yùn)營商,他認(rèn)為業(yè)務(wù)和數(shù)據(jù)是應(yīng)該部署在分布式存儲上的,所以在2017年開始,一直到現(xiàn)在2019年,三年左右的時間總共發(fā)布了三次集采的招標(biāo)的入圍這種活動。經(jīng)過了幾十項深度的測試,浪潮和友商一起參加三次的集采,浪潮三次全部入圍,從側(cè)面也證明了我們產(chǎn)品性能以及穩(wěn)定性可以達(dá)到用戶比較高的一個要求。

后面再介紹幾個典型的案例。

個案:助力智慧交通、廣電媒資、科學(xué)研究等行業(yè)數(shù)字化建設(shè)

在智能交通領(lǐng)域內(nèi),某個城市有一個三環(huán)路,有五六千個攝像頭,五六千個攝像頭對道路的狀況進(jìn)行管理包括主路和輔路,管理路上的車輛行人,以及相關(guān)的違章種種相關(guān)的事故,每一天五六千攝像頭產(chǎn)生一億文件,90TB視頻,一億文件會帶來四億次文件的檢索,都是對后端檢索提出的性能。多輪測試當(dāng)中,浪潮分布式存儲最終給用戶提供108個節(jié)點(diǎn),很好承載了用戶的需求;系統(tǒng)上線之后,人工的行為糾察提高了80%,包括一些關(guān)鍵的交通運(yùn)管系統(tǒng),都得到了很大的提升。

在今年,浪潮和清華大學(xué)配合做腦科學(xué)研究的案例,清華大學(xué)為了研究小白鼠大腦,搭建了28臺高速相機(jī),每秒鐘拍攝三十張高清圖片,每張圖片是1200萬象素24MB,要求20GB恒定帶寬,每次作業(yè)需要24小時不間斷出圖,對系統(tǒng)的性能以及穩(wěn)定性都有很大的挑戰(zhàn)。我們最終給清華大學(xué)第一階段做了50個節(jié)點(diǎn),整個分布式存儲給上層提供了45GB的帶寬,很好完成了高性能的項目。

分享在廣電媒資領(lǐng)域,浪潮存儲和廣電國網(wǎng)合作的案例??蛻舫薆OSS系統(tǒng)以外,其他所有的應(yīng)用都部署到了AS13000上,包括非編類業(yè)務(wù),我們創(chuàng)造了三種不同容量層,有大容量硬盤層以及SSD硬盤層,承接不同的應(yīng)用,而且這個用戶有三個數(shù)據(jù)中心,需要配合遠(yuǎn)程數(shù)據(jù)復(fù)制的功能搭建兩地三中心,這樣的情況下浪潮給客戶提供140多個節(jié)點(diǎn)分布式存儲集群,完成了項目部署。用戶業(yè)務(wù)上線之后最終反饋的結(jié)果,IT的這種架構(gòu)轉(zhuǎn)化比較成功的,完成了一次架構(gòu)的轉(zhuǎn)換。

以上的這些就是我想給大家分享的內(nèi)容。

希望大家能夠過多關(guān)注一下浪潮分布式存儲,因為每一年我們的軟件和硬件都有非常大的變化,也希望我們的變化能夠給在座的各位帶來數(shù)據(jù)中心的建設(shè)的一個幫助。希望能夠幫助大家去很好的完成未來的一個IT的數(shù)字化轉(zhuǎn)型。

謝謝大家!

編后:本次2019中國數(shù)據(jù)與存儲峰會(DATA & STORAGE SUMMIT)為期兩天,包含主論壇、CIO高峰對話,以及大數(shù)據(jù)、閃存系統(tǒng)、分布式存儲、第二存儲與容災(zāi)備份、超融合與云存儲、人工智能、數(shù)據(jù)創(chuàng)新與安全可控、容器創(chuàng)新與應(yīng)用、SCM第五代存儲與閃存控制器等十大主題論壇,超過100場的專業(yè)知識分享。初步統(tǒng)計,本屆峰會吸引了來自政、企、產(chǎn)、學(xué)、研、媒體等各方參會者約2000人,在線直播觀看觀眾再創(chuàng)新高,超過10萬余人次。 

分享到

xiesc

相關(guān)推薦