一、強強聯(lián)手,共贏實現(xiàn)大數(shù)據(jù)時代商機
數(shù)博會是由國家發(fā)展和改革委員會、工業(yè)和信息化部、國家互聯(lián)網(wǎng)信息辦公室與貴州省人民政府主辦,不僅是全球首個以大數(shù)據(jù)為主題的博覽會,更已成為全球大數(shù)據(jù)發(fā)展的風向標和業(yè)界最具國際性和權威性的成果交流平臺。
大數(shù)據(jù)時代背景下,數(shù)據(jù)的分析、組織和調度是信息價值挖掘的重要保障,MPP大規(guī)模并行處理架構的數(shù)據(jù)庫系統(tǒng)因其具備良好的擴展性、高性能、可靠性等特點,正逐漸替代經(jīng)分系統(tǒng)中傳統(tǒng)數(shù)據(jù)倉庫系統(tǒng)。
但使用MPP數(shù)據(jù)庫中也面臨一些問題,其中最為突出的是多租戶同時使用時,如何實現(xiàn)各租戶的計算資源和存儲資源的隔離,即當數(shù)據(jù)庫系統(tǒng)負載較高的時候,任務之間存在資源(CPU、I/O和內存)競爭,以及避免任務之間由于資源競爭導致資源互鎖一些問題。
本次遼寧移動與華為公司合作,基于華為獨有的Node Group彈性集群架構在MPP數(shù)據(jù)庫實現(xiàn)按租戶對系統(tǒng)資源(CPU、內存、IO、存儲)和數(shù)據(jù)的隔離,確保各應用系統(tǒng)之間無干擾,合理的為各個應用提供資源,保障各應用能夠正常的運行。
同時,在用戶資源隔離的基礎上,該項目的MPP數(shù)據(jù)庫還實現(xiàn)了租戶計算資源的彈性伸縮,可以充分利用其它租戶的空閑資源,不但保障了業(yè)務的正常運行,還可實現(xiàn)資源利用率最大化。例如,地市集市業(yè)務系統(tǒng)在9:00~18:00點為業(yè)務人員提供交互分析,該業(yè)務的訪問量和工作量波動比較大,很難對資源做精準評估。當有業(yè)務人員提交比較復雜的關聯(lián)查詢時就會造成該資源池的利用率比較高,反饋時間過長。而互聯(lián)網(wǎng)中心業(yè)務分析等業(yè)務其執(zhí)行的周期和時間段又恰恰和地市集市的業(yè)務可以分開執(zhí)行,因此利用租戶資源的彈性伸縮的特性,訪問高峰時完全可以借用互聯(lián)網(wǎng)中心業(yè)務分析等各業(yè)務模塊的空閑資源提升地市集市的查詢效率,同時提升整體的資源利用率。
遼寧移動采用華為MPP數(shù)據(jù)庫GaussDB構建統(tǒng)一的大數(shù)據(jù)系統(tǒng),逐步替換目前的多套多種的數(shù)據(jù)庫系統(tǒng),有效解決了傳統(tǒng)應用的分類建設,造成的整體系統(tǒng)結構復雜,系統(tǒng)利用率低等問題。
系統(tǒng)自2016年上線以來,GaussDB數(shù)據(jù)庫集群規(guī)模已達到80個節(jié)點,系統(tǒng)擴容750TB。支持700多個用戶的并行訪問。并逐步遷移多套核心系統(tǒng)至GaussDB數(shù)據(jù)庫平臺上,大幅簡化整個數(shù)據(jù)平臺的復雜度,降低管理難度。GaussDB據(jù)庫系統(tǒng)最終可以擴展到1024節(jié)點、10PB容量,滿足遼寧移動未來業(yè)務發(fā)展的需求。
同時該系統(tǒng)還支撐了盤錦市智慧城市運行管理平臺,可在旅游、交通、商圈及重點區(qū)域等方面有效為政府提供決策依據(jù)。在試用期間,獲得國、省、市等各級領導高度評價。此外手機上網(wǎng)行為分析也支撐了遼寧電視臺春節(jié)大數(shù)據(jù)報告等需求,獲得了良好的社會效益。?
二、持續(xù)創(chuàng)新,匠心打造智能數(shù)據(jù)基礎設施“數(shù)據(jù)底座”
近年來,華為一直致力于為各行業(yè)構建數(shù)據(jù)基礎設施,加速智能化進程,“數(shù)據(jù)+智能”正在創(chuàng)造更多的商業(yè)價值、產(chǎn)業(yè)價值和社會價值,支撐“數(shù)據(jù)+智能”的數(shù)據(jù)基礎設施已成為ICT重要組成部分。
華為智能數(shù)據(jù)與存儲從計算、存儲和數(shù)據(jù)處理三個領域重定義數(shù)據(jù)基礎設施:其中對于計算領域,華為引領多樣性計算,推動計算架構多樣性發(fā)展,讓算力更充裕更經(jīng)濟。其次,在智能存儲領域,為應對存儲效率低、管理復雜的問題,華為重定義存儲架構,推出FusionStorage 8.0智能分布式存儲,可大幅提升效率,引領存儲智能化。同時在數(shù)據(jù)處理平臺領域,為應對更實時和智能的需求分析,華為重定義數(shù)據(jù)處理平臺打造全球首款AI-Native數(shù)據(jù)庫GaussDB,使得數(shù)據(jù)分析更智能,全面加速實現(xiàn)數(shù)據(jù)價值。
GaussDB 數(shù)據(jù)庫是華為匯聚全球數(shù)據(jù)庫頂尖專家,從2011年開始投入研發(fā),目前已在運營商、金融、平安城市、能源、電力、電商等眾多行業(yè)應用,累計銷往國內外200+客戶,是華為大數(shù)據(jù)解決方案的重要組成。而大數(shù)據(jù)是華為ICT戰(zhàn)略的重要支柱,在全球布局8個研究所,持續(xù)進行大規(guī)模研發(fā)投入。GaussDB作為華為研發(fā)的一款企業(yè)級數(shù)據(jù)倉庫產(chǎn)品,具備高性能、高可靠、高擴展、高安全、易用特性,兼容標準ANSI SQL 99/2003語法和PostgreSQL生態(tài),為各行業(yè)PB級海量大數(shù)據(jù)分析提供有競爭力的解決方案。
上市銷售以來,GaussDB在市場上不斷得到客戶的認可,已廣泛應用于國內外金融、平安城市、運營商、能源、電力、電商等領域。在金融領域,GaussDB已應用于中國工商銀行、上交所、深交所、中國太保等20多家客戶,其中與中國工商銀行合作,完成了業(yè)界首個Teradata遷移項目,GaussDB不僅滿足了客戶的訴求,而且在幫助客戶降低70%成本的基礎上,關鍵性能提升30%。在運營商領域,GaussDB在中國移動,沃達豐子網(wǎng)等客戶成功商用。
GaussDB已經(jīng)躋身業(yè)界一流數(shù)據(jù)倉庫產(chǎn)品的行列,2016年、2017年、2018年連續(xù)三年在Gartner魔力象限排名中位列中國廠商第一。
展望未來,華為智能數(shù)據(jù)與存儲將為智能時代帶來最佳數(shù)據(jù)基礎設施底座,把數(shù)字世界帶入每個人、每個家庭、每個組織,構建萬物互聯(lián)的智能世界。