孫冰:海量流數(shù)據(jù)處理的服務(wù)化
王雪楊 發(fā)表于:13年06月08日 14:55 [原創(chuàng)] DOIT.com.cn
第五屆云計(jì)算大會(huì)于2013年6月5日—6月7日在北京會(huì)議中心隆重召開,本次大會(huì)以“大數(shù)據(jù)大帶寬推動(dòng)云計(jì)算應(yīng)用與創(chuàng)新”為主題,以全新的國(guó)際視野,洞 悉全球云計(jì)算發(fā)展趨勢(shì),并從應(yīng)用出發(fā),探討云計(jì)算與大數(shù)據(jù)、云計(jì)算與移動(dòng)互聯(lián)網(wǎng)、云安全及云計(jì)算行業(yè)應(yīng)用等焦點(diǎn)話題,分享云計(jì)算發(fā)展經(jīng)驗(yàn),促進(jìn)云計(jì)算創(chuàng)新合作。
6月7日上午,阿里云飛天開放平臺(tái)總監(jiān)孫冰在大會(huì)分會(huì)場(chǎng)進(jìn)行了主題為“海量流數(shù)據(jù)處理的服務(wù)化”的演講。他分享了飛天開放平臺(tái)在海量流數(shù)據(jù)處理的服務(wù)化取得的經(jīng)驗(yàn)。
阿里云飛天開放平臺(tái)總監(jiān)孫冰
大會(huì)上孫冰首先說(shuō)明了一下關(guān)于流數(shù)據(jù)處理不斷生長(zhǎng)的需求。
流數(shù)據(jù)處理
孫冰認(rèn)為,流數(shù)據(jù)處理服務(wù)設(shè)計(jì)的關(guān)鍵要素有三個(gè):各向擴(kuò)展,超強(qiáng)容錯(cuò)和確保實(shí)時(shí)。所以他從這些方面對(duì)比了離線和流兩大規(guī)模數(shù)據(jù)處理。如圖:
大規(guī)模數(shù)據(jù)處理:離線VS 流
接下來(lái),孫冰從擴(kuò)展、容錯(cuò)、實(shí)時(shí)等多個(gè)方面對(duì)垂直系統(tǒng)和平臺(tái)服務(wù)也進(jìn)行了對(duì)比。如圖: 垂直系統(tǒng)VS平臺(tái)服務(wù)
垂直系統(tǒng)VS平臺(tái)服務(wù)
孫冰表示,對(duì)于OSPS這樣一個(gè)系統(tǒng)來(lái)說(shuō),它是基于飛天平臺(tái)的,這樣做的好處在于,容錯(cuò)是用了非常直接的方法,如果沒(méi)有飛天平臺(tái),沒(méi)有一個(gè)非常好的既可以記普通文件,又可以記log文件,又高效又分布在每臺(tái)機(jī)器上都能做的底層存儲(chǔ)系統(tǒng),這件事情就變得很復(fù)雜。由于我們做OSPS的時(shí)候已經(jīng)有飛天平臺(tái),省了非常多的力氣。接下來(lái),我們?cè)贑++自主研發(fā),寫類似于SQL的腳本,優(yōu)化在系統(tǒng)里做,保證數(shù)據(jù)不丟、不重,實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡。
孫冰表示,飛天平臺(tái)設(shè)計(jì)目標(biāo)是五千臺(tái)物理機(jī),每天處理PB級(jí)數(shù)據(jù)。
OSPS應(yīng)用架構(gòu)
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.