隨著信息技術(shù)的不斷發(fā)展，大規(guī)模數(shù)據(jù)密集型應(yīng)用系統(tǒng)數(shù)據(jù)量呈現(xiàn)指數(shù)級上升的趨勢，這其中主要有兩方面的原因：（1）數(shù)據(jù)的產(chǎn)生和獲取手段變得越來越先進，比如來自各種各樣的傳感器網(wǎng)絡(luò)/物聯(lián)網(wǎng)的數(shù)據(jù)，互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)終端的數(shù)據(jù)，以及各種數(shù)碼設(shè)備和智能終端產(chǎn)生的數(shù)據(jù)等；（2）對數(shù)據(jù)的處理要求也越來越高，包括對數(shù)據(jù)庫中結(jié)構(gòu)化數(shù)據(jù)的查詢，文本檢索以及音頻視頻等非結(jié)構(gòu)化數(shù)據(jù)的檢索等。在這兩個方面的原因的推動下，迎來了數(shù)據(jù)爆炸式的增長，業(yè)界稱之為“大數(shù)據(jù)時代”的到來。大數(shù)據(jù)時代，信息越來越成為國家和企業(yè)發(fā)展的戰(zhàn)略資產(chǎn)，大數(shù)據(jù)分析和挖掘也為長遠發(fā)展提供了決策支持的基礎(chǔ)。

XData系統(tǒng)是曙光公司立足于當(dāng)前大數(shù)據(jù)處理的時代背景下，自主研發(fā)的通用海量數(shù)據(jù)處理平臺。XData系統(tǒng)支持對海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高速寫入，按照語義的存儲組織，以及查詢檢索和統(tǒng)計分析。XData系統(tǒng)將數(shù)據(jù)存儲單元和處理單元分離，通過構(gòu)架高效的服務(wù)中間件，將底層采用無共享(shared-nothing)結(jié)構(gòu)的數(shù)據(jù)存儲節(jié)點，聚合成一個單一的數(shù)據(jù)處理系統(tǒng)映像，達到較高的數(shù)據(jù)讀寫并發(fā)度,計算并發(fā)度，以及良好的系統(tǒng)擴展性，可靠性和可維護性。

XData對外提供統(tǒng)一的類JDBC的客戶端編程接口，向下管理分布在不同存儲節(jié)點上的不同類型的數(shù)據(jù)，并提供簡易的用戶管理界面。XData系統(tǒng)的核心技術(shù)包括自動的服務(wù)注冊和負載均衡，可擴展的數(shù)據(jù)劃分和分布策略，高效的批量數(shù)據(jù)加載，通用的并行查詢分析和處理引擎，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一訪問驅(qū)動，不同類型數(shù)據(jù)之間的聯(lián)合查詢和檢索，以及全方位的系統(tǒng)故障和恢復(fù)處理等多項技術(shù)。

XData海量數(shù)據(jù)處理系統(tǒng)可以廣泛的應(yīng)用在通信數(shù)據(jù)統(tǒng)計，互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)的日志和用戶行為分析，物聯(lián)網(wǎng)/傳感器網(wǎng)絡(luò)的數(shù)據(jù)監(jiān)控和追蹤分析，以及金融交易數(shù)據(jù)的離線統(tǒng)計和挖掘等眾多領(lǐng)域。

renxinbo

<u id="ncj4q"></u>