浪潮云數(shù)融合方案部署架構圖
生產(chǎn)環(huán)境注重業(yè)務連續(xù)、平臺穩(wěn)定及數(shù)據(jù)安全性,考慮到大數(shù)據(jù)處理效率、HDFS多副本導致的冗余消耗及大數(shù)據(jù)應用的快速開發(fā)部署等諸多因素,浪潮采用大數(shù)據(jù)平臺物理機部署、大數(shù)據(jù)應用云上部署、“云上”應用調(diào)用“云下”大數(shù)據(jù)平臺能力,并通過統(tǒng)一云管平臺實現(xiàn)虛擬集群及大數(shù)據(jù)集群的統(tǒng)一管理(智能監(jiān)控,運維自動化、計量計費)、用戶統(tǒng)一認證并提供統(tǒng)一的對外服務目錄,實現(xiàn)了高效大數(shù)據(jù)處理、合理數(shù)據(jù)冗余、快速的應用部署、以及基于RBAC權限訪問和以VDC維度的資源管理,最大限度發(fā)揮云計算與大數(shù)據(jù)融合的優(yōu)勢。
在IaaS層,使用浪潮云海平臺InCloud OpenStack及大數(shù)據(jù)平臺InCloud Insight實現(xiàn)物理設備(服務器、存儲、網(wǎng)絡等)云化,并形成虛擬化資源池、裸金屬資源池及大數(shù)據(jù)資源池,向上層提供計算虛擬化、存儲虛擬化(塊存儲服務、對象存儲服務、文件存儲服務)、網(wǎng)絡虛擬化及大數(shù)據(jù)服務。
在PaaS層,通過基礎環(huán)境適配器(Cloud Provider Interface),浪潮彈性分布式操作系統(tǒng)(IOP)能夠直接調(diào)用IaaS能力,并向上提供基礎資源服務、計算服務、數(shù)據(jù)/大數(shù)據(jù)服務、應用中間件服務、開發(fā)支撐服務及多媒體處理服務等六大類功能。其中基礎資源服務包含彈性云主機服務、對象存儲服務、負載均衡服務、網(wǎng)絡服務及VDC服務。計算服務則利用大數(shù)據(jù)能力提供離線計算服務(用于批量計算、指標匯總計算、數(shù)據(jù)挖掘等場景)、實時計算服務(用于TB級以上數(shù)據(jù)實時讀寫和數(shù)據(jù)實時分析等場景)、流式計算服務(用于實時布控、實時監(jiān)控預警、實時統(tǒng)計等實時性要求非常高的場景)、內(nèi)存計算服務(用于批處理,SQL查詢,流式處理以及機器學習等),全方位支撐上層的數(shù)據(jù)治理和應用。
浪潮云數(shù)融合方案IaaS&PaaS架構圖
在DaaS層,由數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)處理、數(shù)據(jù)服務組成,覆蓋數(shù)據(jù)從產(chǎn)生、傳輸、存儲、初加工、細加工到應用及銷毀的全生命周期。以數(shù)據(jù)資源為核心的理念,充分利用云平臺基礎設施與云平臺提供的各類計算服務,對業(yè)務各種來源的各種類別數(shù)據(jù)進行整合匯集、存儲組織、分析處理以及標準化管理,并以服務、接口等形式提供給上層各類應用。在數(shù)據(jù)集成階段,能夠接受不同數(shù)據(jù)源(如內(nèi)網(wǎng)數(shù)據(jù)庫、行業(yè)文件庫、應用系統(tǒng)日志等)和不同數(shù)據(jù)類型(結構化數(shù)據(jù)、非結構化數(shù)據(jù)、半結構化數(shù)據(jù)等),并提供集成工具及數(shù)據(jù)格式轉換工具實現(xiàn)數(shù)據(jù)標準化,上層應用可無差別地調(diào)用各類數(shù)據(jù)。數(shù)據(jù)集成之后會進入數(shù)據(jù)治理環(huán)節(jié),實現(xiàn)數(shù)據(jù)類別規(guī)劃(定義不同安全要求等級數(shù)據(jù)不同的訪問權限及方式)、數(shù)據(jù)質量管理(劃分數(shù)據(jù)質量等級及存儲方式)、數(shù)據(jù)倉庫(可根據(jù)業(yè)務維度劃分)及數(shù)據(jù)服務總線(提供數(shù)據(jù)訪問控制)。而數(shù)據(jù)處理層則負責提供面向業(yè)務的各類功能引擎(檔案引擎、索引引擎、對比引擎、分析引擎及計算引擎等)及相應的調(diào)度服務,上層應用可通過提交任務形式調(diào)用以上引擎服務,輕松實現(xiàn)數(shù)據(jù)的并發(fā)異步調(diào)用。數(shù)據(jù)是企業(yè)的重要資產(chǎn),為最大化提高數(shù)據(jù)的價值,平臺對外提供數(shù)據(jù)資產(chǎn)運營中心,實現(xiàn)數(shù)據(jù)資產(chǎn)超市、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)共享交換機數(shù)據(jù)價值評估。上述所有數(shù)據(jù)加工環(huán)節(jié),均以RPC或API接口方式對應用開放服務,以專業(yè)的數(shù)據(jù)服務使得應用層能更加聚焦業(yè)務的孵化和加速。
浪潮云數(shù)融合方案DaaS架構圖
在SaaS層,分為兩方面應用:基礎應用(郵件、辦公應用、日志系統(tǒng)等)和業(yè)務自定義應用。通過調(diào)用IaaS、PaaS、DaaS層服務接口,應用開發(fā)商可快速完成高可用、高并發(fā)的業(yè)務應用的開發(fā)和部署。
通過這四層,浪潮云數(shù)融合方案能夠提供全方位的IaaS-PaaS-Daas-SaaS云化能力,亦提供了計算能力強大,覆蓋離線計算、在線計算、內(nèi)存計算、流計算等典型大數(shù)據(jù)應用場景的大數(shù)據(jù)平臺,同時特有的云數(shù)融合方案,實現(xiàn)數(shù)據(jù)不同層、不同應用、不同租戶從數(shù)據(jù)采集-數(shù)據(jù)集成-數(shù)據(jù)治理-數(shù)據(jù)處理全數(shù)據(jù)生命周期的管理,讓客戶在云數(shù)時代乘風破浪,永立潮頭。