飛天大數(shù)據(jù)平臺此前已經(jīng)在行業(yè)內(nèi)廣為人知,背后是一代中國技術(shù)人的十年的拼搏成果。

與此同時(shí),阿里云飛天大數(shù)據(jù)平臺是在解決阿里巴巴客戶發(fā)展問題(這同樣是廣大中國政企會遇到的問題)的基礎(chǔ)上成長起來的,解決了普遍性的問題,帶來了開創(chuàng)性的成果,普惠了中小企業(yè)。而這種從需求出發(fā)倒逼技術(shù)進(jìn)步,并進(jìn)而對外服務(wù)的研發(fā)的道路,也成為可復(fù)制的成功模式。

十年前,阿里巴巴遇到了其他公司都還沒遇到的挑戰(zhàn)

十年前,阿里巴巴比其它公司更早地遇到互聯(lián)網(wǎng)規(guī)?;瘞淼奶魬?zhàn)。傳統(tǒng)軟件已無法承載,這也推動了大數(shù)據(jù)技術(shù)的發(fā)展,Google、AWS、微軟等硅谷巨頭紛紛投入大數(shù)據(jù)技術(shù)的研發(fā)。而在國內(nèi),王堅(jiān)也在十年前帶領(lǐng)阿里云團(tuán)隊(duì)研發(fā)飛天大數(shù)據(jù)計(jì)算平臺,率先在國內(nèi)開啟大數(shù)據(jù)計(jì)算平臺的自研之路。

當(dāng)時(shí)全球企業(yè)的數(shù)據(jù)庫基本都是Oracle,而阿里巴巴擁有亞洲最大的Oracle集群,計(jì)算規(guī)模達(dá)百TB級別。

按照當(dāng)時(shí)淘寶用戶量的增長速度,Oracle集群很快將無法支撐業(yè)務(wù)發(fā)展,而最核心的問題就是算力不足。盡管當(dāng)時(shí)阿里已開始把數(shù)據(jù)遷移到更大規(guī)模的開源平臺,但后者在百臺機(jī)器規(guī)模時(shí)就遇到瓶頸,給業(yè)務(wù)增長造成極大阻礙。

此外,Hadoop之類的開源技術(shù)在可靠性、安全性上也遭遇了天花板。

2008年,王堅(jiān)帶著解決大規(guī)模算力瓶頸的任務(wù)加入阿里。他發(fā)現(xiàn),無論是Oracle還是Greenplum、Hadoop,都不是大規(guī)模數(shù)據(jù)計(jì)算的最優(yōu)解,必須自研一套自己的大數(shù)據(jù)處理平臺。

2009年這項(xiàng)關(guān)于大數(shù)據(jù)的技術(shù)長征開始。王堅(jiān)帶隊(duì),目標(biāo)是自研大數(shù)據(jù)計(jì)算平臺——飛天。

事實(shí)證明,阿里做了正確的選擇。

四年攻堅(jiān),MaxCompute終于取得重大突破:2013年8月15日,阿里云歷史性地突破了同一個(gè)集群內(nèi)5000臺服務(wù)器同時(shí)計(jì)算的局限,為未來的大規(guī)模服務(wù)奠定基礎(chǔ)。十年后,單集群規(guī)模已超過1萬臺,能做到這一能力的科技公司在全球都寥寥可數(shù)。

在杭州云棲小鎮(zhèn)豎立著一尊飛天5K的紀(jì)念碑,碑上刻著參與解決這一技術(shù)難題的技術(shù)人員名字。

解決世界級算力難題

通過大數(shù)據(jù)計(jì)算平臺,可以讓訂單實(shí)時(shí)準(zhǔn)確匯聚,也可以精準(zhǔn)預(yù)測變幻莫測的天氣變化,各行各業(yè)都在大規(guī)模使用大數(shù)據(jù)來提供更好的服務(wù),而實(shí)現(xiàn)這一能力就是海量數(shù)據(jù)分析的結(jié)果。

但要處理好這些數(shù)據(jù)并不容易。除了數(shù)據(jù)量的劇增,不同行業(yè)數(shù)據(jù)類型豐富多樣,如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等,都給大數(shù)據(jù)計(jì)算平臺帶來新的挑戰(zhàn)。

基于這套創(chuàng)新技術(shù),2015、2016年,阿里云刷新世界計(jì)算奧運(yùn)會之稱的SortBenchmark世界紀(jì)錄;2017年,完成全球首次基于公共云的100TB BigBench大數(shù)據(jù)基準(zhǔn)測試。

頂級算力走向世界

過去十年,MaxCompute能力不斷提升:單日數(shù)據(jù)處理量從2015年100PB,2016年180PB,到2017年320PB,再到2018年的單日處理超過600PB。

記錄被不斷刷新,并且得到了權(quán)威機(jī)構(gòu)的認(rèn)可:在Forrester發(fā)布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中,阿里云MaxCompute、DataWorks、ADB等三款產(chǎn)品成功入選,并在產(chǎn)品功能(Current Offering)方面力壓微軟。

這一世界級的大數(shù)據(jù)計(jì)算能力也逐漸展示其價(jià)值,幫助數(shù)萬企業(yè)用更低成本、更高效率計(jì)算海量數(shù)據(jù),為社會和消費(fèi)者提供服務(wù)。

在交通領(lǐng)域,城市大腦在杭州實(shí)時(shí)指揮1300個(gè)紅綠燈路口、200多名交警。從2016年到2018年,杭州從全國最擁堵城市排行榜上下跌52名。

在工業(yè)領(lǐng)域,阿里云的大數(shù)據(jù)處理技術(shù)幫助制造企業(yè)尋找上千個(gè)參數(shù)的最優(yōu)搭配,提升制造的良品率。協(xié)鑫光伏、天合光能等行業(yè)龍頭企業(yè),都在嘗試這一全新的生產(chǎn)模式。

在政務(wù)領(lǐng)域,浙江最多跑一次通過大數(shù)據(jù)處理平臺打通政務(wù)數(shù)據(jù),將與老百姓辦事最密切相關(guān)的100個(gè)事項(xiàng)70多億條數(shù)據(jù),按照統(tǒng)一標(biāo)準(zhǔn)匯入統(tǒng)一的數(shù)據(jù)倉,實(shí)現(xiàn)共通共享共用。老百姓辦事不僅能最多跑一次,甚至有可能一次都不跑。

而在海外,MaxCompute也已進(jìn)入新加坡、歐洲等市場,將這一技術(shù)服務(wù)給更多用戶。

分享到

xiesc

相關(guān)推薦