一款給力的榨汁機(jī)，能夠讓每一個(gè)家庭方便地喝到各種心儀的鮮榨果汁，輕松享受生活�，F(xiàn)在，阿里云計(jì)算要把一個(gè)大數(shù)據(jù)的“榨汁機(jī)”送進(jìn)千家萬戶，讓每一個(gè)用戶都能夠把大數(shù)據(jù)的果實(shí)定制成“鮮榨果汁”，只花幾百塊錢就可享用大數(shù)據(jù)的商業(yè)價(jià)值。這個(gè)新鮮的“大數(shù)據(jù)榨汁機(jī)”，就是阿里云近日宣布開放的大數(shù)據(jù)產(chǎn)品ODPS。

顧名思義，ODPS(Open Data Processing Service)是一項(xiàng)開放的web服務(wù)，它基于阿里云的飛天分布式平臺(tái)，將大規(guī)模處理、挖掘、算法和分析等能力封裝，打包成可計(jì)量的云服務(wù)，從而將釋放大數(shù)據(jù)價(jià)值的能力低成本地交付到最終用戶手中。

這是立志于打造數(shù)據(jù)分享第一平臺(tái)的阿里云的一款力作，開放的是阿里巴巴賴以稱霸中國互聯(lián)網(wǎng)產(chǎn)業(yè)的海量數(shù)據(jù)離線處理能力，支持PB級(jí)的數(shù)據(jù)。阿里云總裁王文彬說，ODPS將會(huì)改變整個(gè)中國，使得大數(shù)據(jù)平民化，它是中國云計(jì)算和大數(shù)據(jù)的一個(gè)“里程碑”。

下面，就讓我們近距離地了解這款新鮮的“大數(shù)據(jù)榨汁機(jī)”，它是如何運(yùn)作的，它將為中國的大數(shù)據(jù)產(chǎn)業(yè)帶來的影響是否真的那么神奇。

阿里云總裁王文彬

ODPS能輸出什么樣的“鮮榨果汁”?

選一款榨汁機(jī)，它能否滿足我們的胃口無疑是要考量的第一因素，所以首先要看ODPS能做什么樣的數(shù)據(jù)處理。

前文說過，ODPS開放的阿里自身的數(shù)據(jù)處理能力，阿里云產(chǎn)品經(jīng)理湯子楠介紹，阿里巴巴內(nèi)部業(yè)務(wù)分析的，主要是交易數(shù)據(jù)和用戶行為數(shù)據(jù)，因此，隨著阿里巴巴內(nèi)部業(yè)務(wù)成長的ODPS，更擅長處理結(jié)構(gòu)化的數(shù)據(jù)(如電商交易記錄)，比較擅長處理半結(jié)構(gòu)的數(shù)據(jù)(如網(wǎng)站瀏覽日志)，不能處理非結(jié)構(gòu)的數(shù)據(jù)(如社交文本)。

如今，阿里集團(tuán)大部分?jǐn)?shù)據(jù)業(yè)務(wù)已經(jīng)運(yùn)行于ODPS上。阿里云曾在一封公開信中形象地描述ODPS對(duì)于阿里巴巴的作用：“阿里巴巴各項(xiàng)數(shù)據(jù)業(yè)務(wù)都在用ODPS‘榨果汁’，比如淘寶在算你最中意哪個(gè)淘女郎，天貓?jiān)谒隳闶裁磿r(shí)候想吃車?yán)遄樱�菜鳥在算卡車走哪條路可能會(huì)被雷劈，支付寶在算你何時(shí)會(huì)從屌絲變成高富帥。”

事實(shí)上，包括阿里內(nèi)部的阿里小貸、數(shù)據(jù)魔方、支付寶、淘寶指數(shù)，外部華大基因的基因測(cè)序，都已經(jīng)能夠借助ODPS實(shí)現(xiàn)低成本的海量數(shù)據(jù)處理。

阿里云產(chǎn)品經(jīng)理湯子楠

換言之，ODPS的適用場(chǎng)景廣泛，不僅僅限于交互式BI分析。不過，ODPS目前只對(duì)外開放商用了SQL編程接口，主要用于數(shù)據(jù)倉庫和日志分析。更多接口例如Mapreduce、Graph等等，尚未公測(cè)。王文彬表示，后續(xù)還將基于用戶需求開放UDF和Map Reduce，支持用戶編程的離線計(jì)算;ODPS準(zhǔn)實(shí)時(shí)，支持交互式BI分析;ODPS流處理，支持實(shí)時(shí)計(jì)算等。

在數(shù)據(jù)處理的規(guī)模上，阿里云稱，單集群ODPS可在6小時(shí)內(nèi)處理100PB數(shù)據(jù)，相當(dāng)于1億部高清電影。以服務(wù)于超過36萬人的阿里小貸為例，每天要處理30PB數(shù)據(jù)，運(yùn)算100多個(gè)數(shù)據(jù)模型，阿里小貸以每筆貸款3毛錢的成本實(shí)現(xiàn)了3分鐘申請(qǐng)、1秒放款、0人工干預(yù)。

同時(shí)，對(duì)于用戶關(guān)心的數(shù)據(jù)安全的問題，湯子楠表示，ODPS通過了CSA-STAR和ISO27001兩項(xiàng)國際云安全認(rèn)證，在各個(gè)環(huán)節(jié)都采納了國際上最先進(jìn)的數(shù)據(jù)安全管理標(biāo)準(zhǔn)，如用多副本、沙箱技術(shù)、https加密及多維權(quán)限、多用戶協(xié)作機(jī)制來保證數(shù)據(jù)不丟失、不干擾、不泄露、不被竊取。這就是說，在ODPS平臺(tái)上，我的“果汁”不會(huì)被別人“偷喝”。

ODPS如何榨出“鮮榨果汁”?

ODPS之所以那么牛叉，是因?yàn)樗�有一個(gè)牛叉的“后臺(tái)”。

類似于選擇榨汁機(jī)需要考慮超大號(hào)加料管、強(qiáng)勁動(dòng)力的馬達(dá)、多檔速度、更大的果汁杯和果渣收集器等因素，ODPS也擁有強(qiáng)大的海量數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)處理、高度的彈性和海量數(shù)據(jù)吞吐能力，這得益于阿里云在2009年開始開發(fā)的基于分布式架構(gòu)的飛天平臺(tái)，這個(gè)平臺(tái)現(xiàn)在已經(jīng)支持單集群調(diào)度5000臺(tái)服務(wù)器，并支持集群之間的協(xié)作，這為ODPS強(qiáng)大的計(jì)算和存儲(chǔ)能力提供了基礎(chǔ)。

據(jù)王文彬介紹，基于飛天系統(tǒng)，ODPS在存儲(chǔ)、任務(wù)調(diào)度、任務(wù)優(yōu)化上都有獨(dú)特的技術(shù)，實(shí)現(xiàn)了Mapreduce(以及更高級(jí)的多階段DAG)、Graph、MPI等編程模型在同一個(gè)計(jì)算集群上統(tǒng)一調(diào)度。因此，除了 IO密集型的計(jì)算，ODPS還能支持計(jì)算密集型的迭代計(jì)算，例如隨機(jī)梯度下降。

此外，ODPS通過API提供服務(wù)，包括數(shù)據(jù)上傳、下載、計(jì)算，所有API請(qǐng)求都是經(jīng)過認(rèn)證的，所有API請(qǐng)求都可以走h(yuǎn)ttps加密，能夠消除用戶的安全性顧慮。湯子楠說，ODPS團(tuán)隊(duì)對(duì)于平臺(tái)的優(yōu)先級(jí)定義是數(shù)據(jù)安全性大于可用性大于規(guī)模的。事實(shí)上，一些大企業(yè)和政府客戶，如一些銀行、飛利浦、美的、中國氣象局等，都已經(jīng)放心地選擇了阿里云。

對(duì)于100PB規(guī)模的來由，湯子楠解釋說，這是按照一個(gè)集群5000臺(tái)服務(wù)器、單臺(tái)服務(wù)器處理20TB的數(shù)據(jù)來算，5000*20TB=100PB。這種計(jì)算方式，似乎有些“簡單粗暴”，因?yàn)椴煌�的大�?shù)據(jù)任務(wù)消耗的資源和處理效率往往也不同，但以統(tǒng)一的容量算，差別就只在時(shí)間了，阿里云實(shí)測(cè)是6小時(shí)完成處理。更重要的是，很少有用戶有那樣大規(guī)模的數(shù)據(jù)，阿里巴巴也沒有，而且阿里云也不只有一個(gè)集群用來提供ODPS服務(wù)。據(jù)王文彬介紹，阿里云在杭州、青島、北京、香港都有自己的數(shù)據(jù)中心，并且數(shù)據(jù)中心節(jié)點(diǎn)是整個(gè)區(qū)域性的。

據(jù)了解，阿里云在飛天和ODPS上的持續(xù)投資已經(jīng)上億，研發(fā)的過程中走了不少的彎路，最終才錘煉成現(xiàn)在穩(wěn)定、易用的5K集群和ODPS。王文彬說，并不是每個(gè)企業(yè)都能實(shí)現(xiàn)5K集群，更不是每個(gè)企業(yè)都愿意將這樣的能力開放。所以，當(dāng)阿里云把ODPS開放，大數(shù)據(jù)的計(jì)算環(huán)境、技術(shù)門檻、人才瓶頸得到了大幅的降低。

哪些人能夠受益于ODPS?

在這個(gè)數(shù)據(jù)成為基礎(chǔ)生產(chǎn)要素之一的時(shí)代，ODPS將是中小企業(yè)的福音。他們往往沒有資金和技術(shù)實(shí)力搭建內(nèi)部的數(shù)據(jù)處理平臺(tái)，更不能忍受這個(gè)平臺(tái)為了滿足計(jì)算和存儲(chǔ)的峰值需求而平時(shí)閑置。

阿里云表示，希望通過ODPS，能夠讓更多的中小企業(yè)感受和利用大數(shù)據(jù)的價(jià)值，除了產(chǎn)品本身外，后續(xù)還會(huì)推出一系列的服務(wù)，比如幫助用戶設(shè)計(jì)數(shù)據(jù)模型，引導(dǎo)用戶更合理更低成本的使用ODPS，比如對(duì)用戶進(jìn)行ODPS和大數(shù)據(jù)方面的培訓(xùn)，比如提供基于ODPS的可視化BI分析工具等等。這些服務(wù)在初期會(huì)以免費(fèi)或低價(jià)的方式提供給用戶，最大化的降低用戶使用大數(shù)據(jù)的成本和門檻。

ODPS的價(jià)值

當(dāng)然，要想真正地從ODPS獲益，用戶還是需要具備一定的數(shù)據(jù)分析技能，如掌握SQL語言，或者至少能編寫Java程序和腳本，此外還得有對(duì)數(shù)據(jù)的敏感度和對(duì)業(yè)務(wù)的洞察力。也許，未來阿里云會(huì)推出更加易用的功能，但目前情況如此。

ODPS也可能是ISV的利好。湯子楠表示，基于ODPS，阿里云希望能夠建立有一個(gè)數(shù)據(jù)生產(chǎn)者、消費(fèi)者、加工者和服務(wù)應(yīng)用供應(yīng)商組成整個(gè)的生態(tài)系統(tǒng)。ODPS作為最底層的數(shù)據(jù)平臺(tái)，上面應(yīng)該有各種第三方工具，這樣才能吸引各類角色來參與，形成完善的生態(tài)系統(tǒng)。

一位業(yè)內(nèi)人士認(rèn)為，巨頭的平臺(tái)往往只提供通用基礎(chǔ)服務(wù)，開發(fā)、遷移、使用和維護(hù)還是有臺(tái)階。而且傳統(tǒng)行業(yè)很多企業(yè)也缺乏上云的人才和經(jīng)驗(yàn)。這就需要大量第三方ISV提供面向細(xì)分領(lǐng)域的解決方案。所以，ODPS會(huì)給很多數(shù)據(jù)分析公司、算法公司、行業(yè)數(shù)據(jù)公司帶來很好的機(jī)會(huì)。

ODPS的優(yōu)勢(shì)何在?

作為一款云服務(wù)，ODPS具有開箱即用、安全可靠、多用戶協(xié)作和按量付費(fèi)等特色，讓企業(yè)用戶完全可以不必關(guān)心數(shù)據(jù)規(guī)模增長帶來的存儲(chǔ)困難、運(yùn)算時(shí)間延長等煩惱，直接獲得大數(shù)據(jù)處理能力。相比之下，傳統(tǒng)的大數(shù)據(jù)項(xiàng)目，要自建Hadoop集群，成本、技術(shù)門檻很高。

需要注意，盡管ODPS是國內(nèi)首款大數(shù)據(jù)存儲(chǔ)和計(jì)算開放服務(wù)，但國外仍有Google的BigQuery、Amazon的Redshift和EMR等于ODPS具較為類似的產(chǎn)品形態(tài)，比如都支持海量數(shù)據(jù)的存儲(chǔ)和計(jì)算，都支持SQL語法，那么ODPS的真正優(yōu)勢(shì)何在?

談到這一點(diǎn)，除了底層技術(shù)的差異性，我們還需要了解阿里云構(gòu)建云平臺(tái)的初衷，阿里云的整個(gè)產(chǎn)品線，以及ODPS的位置。

在阿里云看來，私有云是一個(gè)偽命題，從以前的王堅(jiān)到現(xiàn)在的王文彬，都強(qiáng)調(diào)“私有云”只是將運(yùn)行在一個(gè)虛擬化環(huán)境中的傳統(tǒng)軟硬件堆棧，交付的仍是硬件與軟件許可。王文彬說，云計(jì)算應(yīng)當(dāng)是一個(gè)改造現(xiàn)有IT體系的公共服務(wù)，是互聯(lián)網(wǎng)時(shí)代的基礎(chǔ)設(shè)施，云計(jì)算的資源必須共享的;而云服務(wù)沉淀的數(shù)據(jù)自然而然地帶來大數(shù)據(jù)的價(jià)值，大數(shù)據(jù)的處理也應(yīng)當(dāng)是平民化的服務(wù)。

阿里云體系架構(gòu)全景圖

王文彬介紹，ODPS只是阿里云產(chǎn)品線的一部分。除了ODPS之外，阿里云還有SLS、OTS等一系列大數(shù)據(jù)服務(wù)，組成一個(gè)綜合的大數(shù)據(jù)解決方案，滿足用戶在大數(shù)據(jù)領(lǐng)域的多項(xiàng)需求。當(dāng)然，更上層的行業(yè)解決方案，就是前面提到的ISV的機(jī)會(huì)了。這些解決方案的成熟，也將會(huì)反哺阿里云平臺(tái)。

王文彬還透露，阿里云寫了超過250萬的代碼，直接或者間接服務(wù)將近一百萬的客戶，支持雙十一1.88億的訂單沒有落單，這樣的規(guī)模，讓專注阿里云的ISV能夠更加有力可圖，且能夠讓阿里云提供更加成本優(yōu)勢(shì)的云服務(wù)。

ODPS的計(jì)費(fèi)模式已經(jīng)體現(xiàn)出成本優(yōu)勢(shì)。ODPS按照使用量付費(fèi)的，存儲(chǔ)1GB的數(shù)據(jù)，在ODPS大約是每月0.5元。當(dāng)然，如果用戶還要使用第三方ISV基于ODPS開發(fā)的應(yīng)用，還是要另外計(jì)費(fèi)的。考慮到中國網(wǎng)絡(luò)基礎(chǔ)設(shè)施、分布式集群中的單臺(tái)機(jī)器故障概率等實(shí)際情況，阿里云人性化地承諾，不論阿里云自身還是客戶的原因，提交失敗的作業(yè)都不收費(fèi)，只對(duì)最后一次成功提交的作業(yè)收費(fèi)。所以說即便不算前述優(yōu)惠，ODPS仍然很實(shí)惠。

簡單地以存儲(chǔ)和計(jì)算來計(jì)費(fèi)，而不考慮分析負(fù)載復(fù)雜度，也許并不是那么嚴(yán)謹(jǐn)，但這更易于計(jì)算更易于形成口碑，更符合互聯(lián)網(wǎng)思維——這一名詞現(xiàn)在幾乎可以等同于“最高指示”，譬如Pivotal公司大中國區(qū)總經(jīng)理劉偉光近日宣稱，要用互聯(lián)網(wǎng)思維打造企業(yè)級(jí)基礎(chǔ)平臺(tái)。阿里云不說互聯(lián)網(wǎng)思維，但互聯(lián)網(wǎng)思維深入其骨髓，所以，相對(duì)一些看起來高大上的大數(shù)據(jù)產(chǎn)品，ODPS的推廣將更易于實(shí)現(xiàn)讓大數(shù)據(jù)平民化的效果。

阿里云目前的用戶，即使只有很小一部分轉(zhuǎn)化為ODPS用戶，也仍是可觀的，滾雪球之后的規(guī)模效應(yīng)就會(huì)更加不俗。所以，ODPS在未來的市場(chǎng)競(jìng)爭(zhēng)中會(huì)很牛叉，至少在交易型的結(jié)構(gòu)化數(shù)據(jù)，讓用戶無須懂得算法、建�；蛘叻治�，ODPS大大降低了使用數(shù)據(jù)的門檻，在數(shù)據(jù)已經(jīng)成為基本生產(chǎn)要素的今天，將會(huì)有很大的用武之地。

云服務(wù)商喜歡說云計(jì)算讓IT變得和水電一樣便利，但技術(shù)含量很高的IT服務(wù)并不是直接為自然資源搭建一個(gè)管道就了事，能把大數(shù)據(jù)變成親民的“鮮榨果汁”，阿里云還真是領(lǐng)先一步。

“如果大家也想‘榨果汁’，歡迎來試。ODPS的水龍頭就裝在阿里云官網(wǎng)aliyun.com上，一個(gè)月內(nèi)免費(fèi)。”阿里云說。