浪潮集團副總裁彭震
目前,大數(shù)據(jù)基礎(chǔ)平臺面臨著規(guī)?;?、兼容性、易用性和安全性四大挑戰(zhàn)。在規(guī)?;?,中國數(shù)據(jù)量年均增速超過50%,預(yù)計到2020年數(shù)據(jù)總量全球占比將達到20%,成為數(shù)據(jù)量最大、數(shù)據(jù)類型最豐富的國家之一,數(shù)據(jù)處理效率將成為企業(yè)共同面臨的挑戰(zhàn),與數(shù)據(jù)總量增加伴生而來的大數(shù)據(jù)平臺大規(guī)模部署和管理也成為新的問題。在兼容性上,數(shù)據(jù)采集手段和方式的多元化,導(dǎo)致數(shù)據(jù)類型更加復(fù)雜,異構(gòu)數(shù)據(jù)管理和處理成難點,并且計算框架正呈多樣化發(fā)展,多數(shù)據(jù)源如何協(xié)同計算成為亟需解決的問題。在易用性上,如何降低大規(guī)模帶來的管理運維復(fù)雜度,如何讓大數(shù)據(jù)應(yīng)用像使用傳統(tǒng)業(yè)務(wù)數(shù)據(jù)一樣便捷、高效,成為運維與業(yè)務(wù)部門共同面對的棘手難題。此外,數(shù)據(jù)作為企業(yè)的生產(chǎn)資料乃至重要資產(chǎn),由數(shù)據(jù)共享帶來的資源隔離與安全問題,以及大數(shù)據(jù)基礎(chǔ)平臺的安全與防護也是企業(yè)關(guān)注的重要問題。
浪潮云海Insight HD:高效數(shù)據(jù)計算賦能企業(yè)數(shù)字智慧轉(zhuǎn)型
此次發(fā)布的云海Insight HD V4是浪潮基于Hadoop3開源框架自研的一款企業(yè)級大數(shù)據(jù)基礎(chǔ)平臺軟件,在大規(guī)模集群一鍵式部署、數(shù)據(jù)智能化分析挖掘、異構(gòu)平臺混合部署與資源精細化管理、多數(shù)據(jù)源協(xié)同計算與立體化數(shù)據(jù)安全等方面具備領(lǐng)先優(yōu)勢,可承擔(dān)企業(yè)海量數(shù)據(jù)的采集接入、多樣存儲、規(guī)模計算以及分析挖掘,支撐企業(yè)數(shù)據(jù)中心業(yè)務(wù)模型快速落地,助力企業(yè)信息化智能轉(zhuǎn)型。
浪潮云海Insight HD V4
云海Insight HD V4支持超大規(guī)模集群一鍵式部署,規(guī)模超過10000+節(jié)點,可滿足頂級互聯(lián)網(wǎng)公司的對數(shù)據(jù)處理平臺的需求。同時,智能化分析挖掘功能集成了向?qū)焦ぞ?,通過圖形化操作界面方便用戶創(chuàng)建數(shù)據(jù)模型,而預(yù)設(shè)的機器學(xué)習(xí)流程亦可方便用戶實現(xiàn)全量數(shù)據(jù)高效分析,降低人工智能技術(shù)的應(yīng)用門檻。
在異構(gòu)平臺混合部署能力上,云海Insight HD V4可支持x86、OpenPower、GPU等多種計算平臺的異構(gòu)部署,其中面向OpenPower異構(gòu)平臺的部署方案能夠提供更高的內(nèi)存帶寬,有效支撐Spark內(nèi)存計算,適合高并發(fā)和IO操作密集的大數(shù)據(jù)應(yīng)用;異構(gòu)資源精細化管理功能支持對集群計算資源的自定義劃分,實現(xiàn)了不同類型的大數(shù)據(jù)應(yīng)用(如Spark內(nèi)存計算和批處理等)只運行在各自標(biāo)簽的節(jié)點上,不同應(yīng)用的計算資源絕對隔離,提升資源利用率和系統(tǒng)性能;強大的跨數(shù)據(jù)源協(xié)同計算功能,可提供多數(shù)據(jù)源接入技術(shù),直接進行關(guān)系數(shù)據(jù)庫、HDFS、HBase、Hive等各類異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)分析,無需數(shù)據(jù)重加載,并提供標(biāo)準(zhǔn)SQL接口,降低應(yīng)用開發(fā)復(fù)雜度,加速應(yīng)用落地。
此外,在數(shù)據(jù)安全層面,云海Insight HD V4通過統(tǒng)一的用戶管理模型、統(tǒng)一授權(quán)管理、數(shù)據(jù)存儲與傳輸加密、全面的日志收集與實時監(jiān)控告警等全生命周期管理,實現(xiàn)了立體化數(shù)據(jù)安全。
實際測試顯示,浪潮云海Insight HD V4在海量文本實時搜索上,可實現(xiàn)PB級數(shù)據(jù)的毫秒級實時模糊搜索,在流式數(shù)據(jù)的實時計算可實現(xiàn)每天百億數(shù)據(jù)的多樣化邏輯處理,在多維數(shù)據(jù)的碰撞計算可實現(xiàn)百億行級數(shù)據(jù)規(guī)模的多表交叉查詢。
大數(shù)據(jù)平臺是浪潮的重點業(yè)務(wù),未來的大數(shù)據(jù)平臺將會朝著精細化和專業(yè)化方向,把一些大數(shù)據(jù)的重點方向做深做透,幫忙企業(yè)加速數(shù)字化、智慧化轉(zhuǎn)型進程。