曙光大數(shù)據(jù)處理系統(tǒng) XData大數(shù)據(jù)一體機(jī)
任新勃 發(fā)表于:13年05月27日 11:30 [來(lái)稿] DOIT.com.cn
信息技術(shù)的不斷發(fā)展,數(shù)據(jù)的產(chǎn)生和獲取手段變得越來(lái)越先進(jìn),對(duì)數(shù)據(jù)的處理要求也越來(lái)越高,大規(guī)模數(shù)據(jù)密集型應(yīng)用系統(tǒng)數(shù)據(jù)量呈現(xiàn)指數(shù)級(jí)上升的趨勢(shì),迎來(lái)了數(shù)據(jù)爆炸式的增長(zhǎng),業(yè)界稱之為“大數(shù)據(jù)時(shí)代”的到來(lái)。大數(shù)據(jù)時(shí)代,信息越來(lái)越成為國(guó)家和企業(yè)發(fā)展的戰(zhàn)略資產(chǎn),大數(shù)據(jù)分析和挖掘也為長(zhǎng)遠(yuǎn)發(fā)展提供了決策支持的基礎(chǔ)。
XData大數(shù)據(jù)處理機(jī)是曙光公司立足于當(dāng)前大數(shù)據(jù)處理的時(shí)代背景下,自主研發(fā)的通用海量數(shù)據(jù)處理平臺(tái),可廣泛的應(yīng)用在通信數(shù)據(jù)統(tǒng)計(jì),互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡(luò)的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計(jì)和挖掘等眾多領(lǐng)域。
產(chǎn)品概述
XData大數(shù)據(jù)處理機(jī)將數(shù)據(jù)存儲(chǔ)單元和處理單元分離,通過(guò)構(gòu)架高效的服務(wù)中間件,將底層采用無(wú)共享(shared-nothing)結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn),聚合成一個(gè)單一的數(shù)據(jù)處理系統(tǒng)映像,達(dá)到較高的數(shù)據(jù)讀寫并發(fā)度,計(jì)算并發(fā)度,以及良好的系統(tǒng)擴(kuò)展性,可靠性和可維護(hù)性。 XData可廣泛的應(yīng)用在通信數(shù)據(jù)統(tǒng)計(jì),互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡(luò)的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計(jì)和挖掘等眾多領(lǐng)域。
XData向用戶提供統(tǒng)一的類JDBC的客戶端編程接口,向下管理分布在不同存儲(chǔ)模塊上的不同類型的數(shù)據(jù),并提供簡(jiǎn)易的用戶管理界面。XData系統(tǒng)的核心技術(shù)包括自動(dòng)的服務(wù)注冊(cè)和負(fù)載均衡,可擴(kuò)展的數(shù)據(jù)劃分和分布策略,高效的批量數(shù)據(jù)加載,通用的并行查詢分析和處理引擎,結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一訪問(wèn)接口,不同類型數(shù)據(jù)之間的聯(lián)合查詢和檢索,以及全方位的系統(tǒng)故障和恢復(fù)處理等多項(xiàng)技術(shù)。
產(chǎn)品特性
分級(jí)存儲(chǔ)
XData支持分級(jí)存儲(chǔ),以降低系統(tǒng)的總體持有成本。即按照數(shù)據(jù)量和數(shù)據(jù)的訪問(wèn)頻率,分為在線,離線和備份三個(gè)存儲(chǔ)級(jí)別,并支持?jǐn)?shù)據(jù)在各級(jí)之間根據(jù)策略進(jìn)行遷移。
并行處理架構(gòu)
XData采用無(wú)共享的結(jié)構(gòu),提供高速的數(shù)據(jù)寫入能力。寫入過(guò)程中,采用并行寫入的方式,按照一定數(shù)據(jù)劃分策略,將數(shù)據(jù)寫入到后端數(shù)據(jù)節(jié)點(diǎn)。
XData將查詢語(yǔ)句分解成為在多個(gè)數(shù)據(jù)模塊并行執(zhí)行的查詢?nèi)蝿?wù)流,所有的查詢處理都在數(shù)據(jù)節(jié)點(diǎn)上并行的執(zhí)行,充分利用無(wú)共享結(jié)構(gòu)的計(jì)算并行度。
XData提供任務(wù)斷點(diǎn)執(zhí)行功能,發(fā)生意外情況時(shí),系統(tǒng)啟動(dòng)后繼續(xù)執(zhí)行未完成的任務(wù)。
一體化執(zhí)行框架
XData提供類JDBC訪問(wèn)接口:XJDBC,有JDBC 使用經(jīng)驗(yàn)的用戶無(wú)需額外學(xué)習(xí)即可很方便的使用XJBDC訪問(wèn)接口;XData提供XJDBC/MapReduce混合執(zhí)行框架,提供跨平臺(tái)的兼容性。
XData還提供較XJDBC訪問(wèn)接口更高的性能的專用編程接口。
復(fù)雜數(shù)據(jù)類型關(guān)聯(lián)分析
XData支持大表關(guān)聯(lián)和大表嵌套類等復(fù)雜的查詢語(yǔ)句的處理。XData系統(tǒng)通過(guò)將復(fù)雜查詢解析成在多個(gè)數(shù)據(jù)節(jié)點(diǎn)上的并行任務(wù)流,提高復(fù)雜查詢的處理性能。
XData支持用戶自定義的并行查詢?nèi)蝿?wù)流,可以支持任意復(fù)雜的結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)處理語(yǔ)義,滿足更廣泛的應(yīng)用需求。
高可擴(kuò)展性
XData對(duì)數(shù)據(jù)進(jìn)行細(xì)粒度劃分,無(wú)需進(jìn)行復(fù)雜規(guī)劃,任意規(guī)模的擴(kuò)展都能夠達(dá)到數(shù)據(jù)分布均衡。
XData提供細(xì)粒度數(shù)據(jù)鎖,提高數(shù)據(jù)訪問(wèn)并發(fā)度,減小單個(gè)查詢操作的無(wú)效IO,提高整體處理效率。
圖形化監(jiān)控管理
XData提供基于Web的圖形化的管理工具,簡(jiǎn)化了系統(tǒng)管理員對(duì)于大數(shù)據(jù)系統(tǒng)的管理和維護(hù)工作,使得管理一套含有幾百個(gè)節(jié)點(diǎn)的XData和管理一套10個(gè)節(jié)點(diǎn)的XData的工作量接近。
XData大數(shù)據(jù)一體機(jī)包含兩類組件:計(jì)算模塊、數(shù)據(jù)模塊和客戶端。
計(jì)算模塊:用于數(shù)據(jù)的并行加載和查詢處理,對(duì)客戶端提供統(tǒng)一的數(shù)據(jù)處理接口。
數(shù)據(jù)模塊:用于提供結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)一體化存儲(chǔ)空間,內(nèi)嵌高性能數(shù)據(jù)存取引擎,并行處理所有計(jì)算模塊的數(shù)據(jù)訪問(wèn)
請(qǐng)求。
客戶端:用于和用戶應(yīng)用對(duì)接,提供XJDBC/MapReduce統(tǒng)一訪問(wèn)接口和各服務(wù)專用訪問(wèn)接口。
規(guī)格列表
型號(hào) | XData 大數(shù)據(jù)一體機(jī) | |
系統(tǒng)規(guī)格 | 系統(tǒng)容量 | 16PB |
計(jì)算模塊 | 1024 | |
數(shù)據(jù)模塊 | 1024 | |
客戶端OS | CentOS5 X86/X86_64 CentOS6 X86/X86_64 RedHat5 X86/X86_64 RedHat6 X86/X86_64 SLES11 SP1 X86/X86_64 SLES11 SP2 X86/X86_64 | |
系統(tǒng)功能 | 系統(tǒng)架構(gòu) | 非對(duì)稱雙集群架構(gòu),系統(tǒng)由計(jì)算集群和數(shù)據(jù)集群組成 |
訪問(wèn)接口 | 支持類JDBC統(tǒng)一編程接口和各服務(wù)專用編程接口,兼容MapReduce執(zhí)行框架 | |
負(fù)載均衡 | 支持基于連接數(shù)、容量和性能的負(fù)載均衡 | |
數(shù)據(jù)遷移 | 支持?jǐn)?shù)據(jù)控制器之間的數(shù)據(jù)遷移 | |
分級(jí)存儲(chǔ) | 支持同一系統(tǒng)內(nèi)的數(shù)據(jù)分級(jí) | |
可擴(kuò)展性 | 加載模塊 | 支持計(jì)算模塊在線動(dòng)態(tài)添加和安全移除,擴(kuò)展后系統(tǒng)數(shù)據(jù)加載能力呈線性增長(zhǎng) |
數(shù)據(jù)模塊 | 支持?jǐn)?shù)據(jù)模塊在線動(dòng)態(tài)添加,擴(kuò)展后系統(tǒng)數(shù)據(jù)查詢處理能力呈線性增長(zhǎng) | |
硬盤 | Raid0/1/5/6 | |
可靠性 | 計(jì)算模塊 | 多個(gè)計(jì)算模塊以負(fù)載均衡方式運(yùn)行,單個(gè)或多個(gè)計(jì)算模塊故障不影響系統(tǒng)整體的數(shù)據(jù)加載和查詢處理,客戶端會(huì)自動(dòng)重連切換到可用的計(jì)算模塊 |
數(shù)據(jù)模塊 | 數(shù)據(jù)模塊以集群方式運(yùn)行,支持?jǐn)?shù)據(jù)的雙副本和分級(jí)存儲(chǔ)策略對(duì)數(shù)據(jù)可靠性進(jìn)行保護(hù) | |
管理 | 部署 | 支持集中式部署和配置 |
升級(jí) | 支持在用戶業(yè)務(wù)不停止的情況下在線升級(jí),升級(jí)過(guò)程對(duì)原有數(shù)據(jù)和配置無(wú)影響 | |
狀態(tài)監(jiān)控 | 支持對(duì)系統(tǒng)總體狀態(tài)進(jìn)行監(jiān)控,支持對(duì)各節(jié)點(diǎn)和服務(wù)狀態(tài)進(jìn)行監(jiān)控 | |
性能監(jiān)控 | 支持對(duì)系統(tǒng)總體性能、資源進(jìn)行監(jiān)控,以及各節(jié)點(diǎn)的性能、資源進(jìn)行監(jiān)控 | |
告警 | 支持對(duì)系統(tǒng)軟硬件故障和系統(tǒng)狀體閥值信息進(jìn)行告警,告警方式支持以界面告警、郵件告警和短信告警等方式 |
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.