浪潮:大數(shù)據(jù)處理需要定制化、專業(yè)化的設(shè)備
DOIT 發(fā)表于:12年12月06日 13:55 [來稿] DOIT.com.cn
大數(shù)據(jù)時(shí)代到來,帶來海量數(shù)據(jù)的爆發(fā)式增長,同時(shí)催生了多種數(shù)據(jù)類型結(jié)構(gòu),對傳統(tǒng)大數(shù)據(jù)技術(shù)提出了挑戰(zhàn)。在我國,行業(yè)客戶是大數(shù)據(jù)應(yīng)用的主體,區(qū)別于互聯(lián)網(wǎng)應(yīng)用,行業(yè)大數(shù)據(jù)的關(guān)聯(lián)性強(qiáng),大數(shù)據(jù)應(yīng)用復(fù)雜,跨度更大,跨部門,甚至跨行業(yè)需求更多,并且行業(yè)用戶需求處理準(zhǔn)確性,相應(yīng)及時(shí)性也遠(yuǎn)高于互聯(lián)網(wǎng)技術(shù),互聯(lián)網(wǎng)模糊數(shù)據(jù)難以滿足精確數(shù)據(jù)的要求,用戶迫切需要企業(yè)能夠提供適應(yīng)行業(yè)大數(shù)據(jù)應(yīng)用特點(diǎn)的全新的處理技術(shù),提供軟硬件一體化整合性產(chǎn)品和服務(wù)。
11月27日,浪潮集團(tuán)大數(shù)據(jù)戰(zhàn)略發(fā)布暨云海大數(shù)據(jù)一體機(jī)產(chǎn)品發(fā)布會(huì)在京召開。在當(dāng)天的發(fā)布會(huì)上,浪潮集團(tuán)系統(tǒng)軟件總監(jiān)、云計(jì)算產(chǎn)品研發(fā)部總經(jīng)理張東全面解讀浪潮基于推動(dòng)中國行業(yè)大數(shù)據(jù)應(yīng)用的大數(shù)據(jù)整體戰(zhàn)略,并面向產(chǎn)業(yè)界細(xì)致解讀了浪潮自主研發(fā)的采用全新技術(shù)架構(gòu)的大數(shù)據(jù)處理平臺產(chǎn)品——云海大數(shù)據(jù)一體機(jī)。張東指出:針對當(dāng)前數(shù)據(jù)處理特點(diǎn),必須依靠定制化、專業(yè)化的設(shè)備,幫助行業(yè)用戶邁過應(yīng)用門檻。
全分布式新型體系結(jié)構(gòu)
云海大數(shù)據(jù)一體機(jī)采用全分布式大數(shù)據(jù)處理架構(gòu),將硬件、軟件整合在一個(gè)體系中,采用不同的數(shù)據(jù)處理的架構(gòu)來提供對不同行業(yè)應(yīng)用的支撐。通過新型的數(shù)據(jù)處理架構(gòu),實(shí)現(xiàn)了計(jì)算隨數(shù)據(jù)分布的數(shù)據(jù)本地化,保證了業(yè)務(wù)的連續(xù)性,即使三到四千個(gè)計(jì)算單元重載節(jié)點(diǎn)情況下,還能夠?qū)崿F(xiàn)相對比較好的擴(kuò)展性。
在硬件方面,針對視頻數(shù)據(jù)挖掘、在線交易這樣的應(yīng)用,由于這類應(yīng)用對于計(jì)算量要求高,因此采用CPU多、內(nèi)存多的重載節(jié)點(diǎn),并增加專用的加速芯片,針對對計(jì)算、存儲(chǔ)和IO均衡的應(yīng)用,采用通用數(shù)據(jù)單元,第三類則是針對對數(shù)據(jù)處理快速響應(yīng)的應(yīng)用場景,提供輕量計(jì)算單元,而存儲(chǔ)則采用整體一體解決方案,充分發(fā)揮新型存儲(chǔ)節(jié)制的作用,比如閃存盤的技術(shù),將閃存盤放在整個(gè)計(jì)算緩存里面做高速緩存,針對不同應(yīng)用類型,實(shí)現(xiàn)全局的算法,降低冗余率,同時(shí)采用基于浪潮設(shè)計(jì)的全新大數(shù)據(jù)高速互聯(lián)芯片以及高速互聯(lián)TOP網(wǎng)絡(luò)構(gòu)成全新的網(wǎng)絡(luò)互聯(lián),使整個(gè)平臺的計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)大大提高運(yùn)行效率。
在算法方面,云海大數(shù)據(jù)一體機(jī)采針對分布式計(jì)算的算法進(jìn)行整體優(yōu)化。眾所周知,分布式計(jì)算是一個(gè)普遍應(yīng)用的技術(shù),在互聯(lián)網(wǎng)行業(yè)里面,它可能對于任務(wù)這種一致性,對任務(wù)要求快慢并不是很高,比如搜索發(fā)出去一萬個(gè)結(jié)果,可能回來是九千個(gè),丟掉一千是無所謂的,但是行業(yè)應(yīng)用是不一樣的,所有的結(jié)果都需要全部返回來,因此優(yōu)化系統(tǒng)任務(wù)調(diào)度策略極為關(guān)鍵,要對任務(wù)實(shí)現(xiàn)針對監(jiān)控,并動(dòng)態(tài)調(diào)整任務(wù)執(zhí)行資源,減少慢任務(wù)數(shù)量,提高整體性能。
軟硬一體全環(huán)節(jié)覆蓋
云海大數(shù)據(jù)一體機(jī)是國產(chǎn)化軟硬件一體的創(chuàng)新數(shù)據(jù)處理平臺,針對重載應(yīng)用、通用數(shù)據(jù)挖掘、海量并發(fā)數(shù)據(jù)處理及對高安全、高可靠有極端要求的四類應(yīng)用處理場景,實(shí)現(xiàn)了全環(huán)節(jié)覆蓋。數(shù)據(jù)分析涵蓋了數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析直至展現(xiàn)儲(chǔ)量,融合了硬件到軟件的一系列的手段,所有環(huán)節(jié)都涵蓋在一體機(jī)里面,為用戶解決整體方案,實(shí)現(xiàn)插電即用。
全方位的專業(yè)化的服務(wù)
浪潮作為整體的IT解決方案的提供商,可針對用戶在整個(gè)數(shù)據(jù)處理環(huán)節(jié)提供全方位的專業(yè)化的服務(wù)。浪潮將幫助用戶明確應(yīng)用需求,選擇適合的軟硬件架構(gòu),提供開發(fā)方面的支持,并幫助客戶把程序從原有的模式移植到大數(shù)據(jù)處理模式下,幫用戶調(diào)優(yōu),直至最后的服務(wù),提供整體一條龍的服務(wù)。
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會(huì)員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.