亞馬遜的云計(jì)算現(xiàn)狀
七個(gè)關(guān)鍵技術(shù)變革在云計(jì)算上有堅(jiān)實(shí)的基礎(chǔ)。這是亞馬遜首席技術(shù)官維爾納·沃格斯(Werner Vogels)在最近紐約的2012亞馬遜云計(jì)算峰會(huì)上提出的大膽說(shuō)法。在某些情況下,這些變革已經(jīng)被云計(jì)算增強(qiáng)或加速了,比如大數(shù)據(jù)分析和移動(dòng)計(jì)算的情況。在其他情況下,在云實(shí)現(xiàn)到來(lái)之前這些變革不會(huì)發(fā)生,比如按需求的擴(kuò)展和靈活的創(chuàng)新,他說(shuō)。
我們感覺(jué)有必要給這些言論潑一點(diǎn)兒冷水了,尤其是在亞馬遜的產(chǎn)品營(yíng)銷,銷售以及產(chǎn)品管理副總裁亞當(dāng)·塞利普斯基(Adam Selipsky)在會(huì)上加大了炒作因素之后,他以更大膽的主張宣傳企業(yè)數(shù)據(jù)中心將在20年內(nèi)被云計(jì)算全面取代。我們對(duì)這個(gè)預(yù)言報(bào)道引發(fā)了少數(shù)讀者的評(píng)論,一個(gè)讀者稱它為“一派胡言”。
沃格斯的言論相比之下顯得沒(méi)那么夸大,但我們沒(méi)把公共云實(shí)現(xiàn)視為他所建議的所有情況下的唯一出路。特別是,我們對(duì)云服務(wù)失敗,云安全漏洞和云成本與性能的缺憾的報(bào)道可能會(huì)讓你暫時(shí)停下腳步。
別誤會(huì):公共云計(jì)算提供了許多不可思議的可能,像是按要求以極低成本進(jìn)行超級(jí)計(jì)算機(jī)級(jí)別處理的前景。例如,循環(huán)計(jì)算以閃電般的速度和非常低的成本幫助制藥公司在癌癥和其他疾病的治療方面作出了非常重要的研究。公司計(jì)算出,把亞馬遜云計(jì)算服務(wù)上的兩千萬(wàn)美元的超級(jí)計(jì)算機(jī)全算上的成本相當(dāng)于每小時(shí)使用費(fèi)不到5000美元。而且一旦項(xiàng)目結(jié)束,費(fèi)用也跟著沒(méi)了。
對(duì)于起步階段和其他快速成長(zhǎng)很難找到人又不想被常規(guī)IT部門(mén)耽擱的情況下,云同樣很有用。例如,三年前,美國(guó)公共電視網(wǎng)每個(gè)月的視頻流量大約是200TB。但是iPad和有視頻功能的智能手機(jī)又帶來(lái)了一波需求?,F(xiàn)如今,就在推出美國(guó)公共電視網(wǎng)iPad應(yīng)用的一年之后,內(nèi)容提供商每月的視頻流量超過(guò)了40PB。一位美國(guó)公共電視網(wǎng)的高層表示,如果沒(méi)有公共云服務(wù)的能力,網(wǎng)絡(luò)不可能跟得上。
請(qǐng)自行判斷。仔細(xì)研究一下這七個(gè)轉(zhuǎn)變,你的公司也許也要做出使用公共云,私有云還是企業(yè)內(nèi)部自建的決定。
亞馬遜承諾一:云使分布式架構(gòu)變得輕松
計(jì)算機(jī)系統(tǒng)出錯(cuò)是理所當(dāng)然的,因此計(jì)算機(jī)科學(xué)家們多年前就已深知減少風(fēng)險(xiǎn)的方法就是要靠高度分布式的容錯(cuò)架構(gòu)。但是要運(yùn)行所有這些服務(wù)器和網(wǎng)絡(luò)還有同步冗余,地理上孤立的數(shù)據(jù)中心,說(shuō)起來(lái)容易做起來(lái)難。有了運(yùn)行于可靠的、分布式的系統(tǒng)之上的云計(jì)算會(huì)“變得相對(duì)輕松”,亞馬遜首席技術(shù)官維爾納·沃格斯說(shuō)。
很顯然利用一個(gè)分布式云服務(wù)比從零開(kāi)始建立要容易得多。在亞馬遜的情況中,你可以在全球八個(gè)區(qū)域展開(kāi)你的部署,每個(gè)都帶有多個(gè)“可用區(qū)域”(Availability Zones),并且在“可用區(qū)域”內(nèi)有多個(gè)數(shù)據(jù)中心,每個(gè)中心都位于不同的地震板塊之上,且由彼此獨(dú)立的供電網(wǎng)絡(luò)提供能源支持。亞馬遜在多個(gè)可用區(qū)域上運(yùn)行分布式服務(wù),包括簡(jiǎn)單存儲(chǔ)服務(wù)(S3),DynamoDB NoSQL數(shù)據(jù)庫(kù)服務(wù)和亞馬遜關(guān)系數(shù)據(jù)庫(kù)服務(wù)(RDS)。它還提供分布式的彈性計(jì)算云服務(wù)(EC2),處理權(quán)力和行政服務(wù),包括簡(jiǎn)單工作流服務(wù)(SWF),簡(jiǎn)單查詢服務(wù)(SQS)和簡(jiǎn)單通知服務(wù)(SNS)。
很多其他云服務(wù)供應(yīng)商都有全球分布式架構(gòu),但是根據(jù)The 451 Group的調(diào)查,亞馬遜云計(jì)算服務(wù)有“基礎(chǔ)設(shè)置即服務(wù)”市場(chǎng)59%的份額,因此它在規(guī)模上占有優(yōu)勢(shì),理論上應(yīng)該在整體能力,擴(kuò)展性,系統(tǒng)分布和冗余上轉(zhuǎn)化至更高水平。
實(shí)際調(diào)查一:復(fù)雜性并未消失
亞馬遜為避免其客戶在亞馬遜云計(jì)算服務(wù)上創(chuàng)建自己的高度分布式系統(tǒng)時(shí)的復(fù)雜性做了很多努力,但亞馬遜自身卻不能內(nèi)部避免復(fù)雜性或是系統(tǒng)出錯(cuò)的事實(shí)。除去其全球規(guī)模和大量臃腫不提,亞馬遜在保持系統(tǒng)正常運(yùn)行方面還是有著幾近完美的記錄的。
亞馬遜2011年經(jīng)受了兩次嚴(yán)重的中斷,其中一個(gè)是四月在美國(guó)東海岸多天中斷服務(wù)的事件,另一個(gè)是在八月,愛(ài)爾蘭都柏林的亞馬遜數(shù)據(jù)中心停電,備用發(fā)電機(jī)未能運(yùn)行,影響歐洲多個(gè)可用區(qū)域。在八月的這次事件中最令人擔(dān)心的問(wèn)題是,一個(gè)“可用區(qū)域”停止工作會(huì)影響到另一個(gè)“區(qū)域”。如果有高度分布式的容錯(cuò)架構(gòu),這本應(yīng)該發(fā)生的。
很依賴于亞馬遜云計(jì)算服務(wù)的游戲網(wǎng)站Zynga,在這些中斷事件中幸免,因?yàn)樗灿凶约旱乃接性乒δ?,?duì)其現(xiàn)有的計(jì)算能力進(jìn)一步地分發(fā)了冗余性,增強(qiáng)了分離性。Zynga還認(rèn)定自有的比租的要好,因此它把對(duì)亞馬遜云計(jì)算服務(wù)的依賴度從80%降至20%,采取的辦法是公共云服務(wù),在內(nèi)部采用前相應(yīng)增加新游戲。
外文鏈接:http://www.informationweek.com/news/galleries/cloud-computing/infrastructure/232901167
亞馬遜承諾二:云提供了新的安全優(yōu)勢(shì)
傳統(tǒng)的企業(yè)數(shù)據(jù)中心就好比是一個(gè)有護(hù)城河的城堡,沃格斯說(shuō),“隨著城堡開(kāi)始越來(lái)越大,就是大多數(shù)企業(yè)正經(jīng)歷的一樣,保護(hù)城堡里的東西變得更加困難了?!庇辛嗽?,提供一個(gè)“端到端”的安全保障就成為可能,他說(shuō),安全是亞馬遜的頭等大事和投資領(lǐng)域。他指出,應(yīng)用級(jí)工具,使客戶保護(hù)自身成為可能,而在云之前,這是辦不到的。
實(shí)際調(diào)查二:云遠(yuǎn)非無(wú)懈可擊
當(dāng)然,亞馬遜和其他云供應(yīng)商遵守很多嚴(yán)格的安全標(biāo)準(zhǔn),但它們真的比更不知名的本地自建系統(tǒng)更安全嗎?一月,亞馬遜所有的Zappos成為最新一家遭受安全破壞的電子商務(wù)網(wǎng)站,潛在暴露信用卡信息的可能。除了有損信譽(yù)和信任,該事件還促成了一起訴訟。
有一些證據(jù)表明,云計(jì)算工具幫了惡意軟件制造者的忙,如去年夏天犯罪分子被發(fā)現(xiàn)利用亞馬遜云計(jì)算服務(wù)傳播金融竊取的惡意軟件。攻擊者明顯布置了注冊(cè)賬戶對(duì)11家國(guó)際銀行發(fā)動(dòng)襲擊。卡帕斯基實(shí)驗(yàn)室將問(wèn)題告知了亞馬遜,但亞馬遜隨后用了60個(gè)小時(shí)才關(guān)閉了這些惡意鏈接,據(jù)安全公司稱。當(dāng)然,惡意軟件制造者將使用所有當(dāng)前能用的任何技術(shù)工具。
亞馬遜承諾三:云會(huì)使你按需擴(kuò)展
在企業(yè)內(nèi),擴(kuò)展是你需要建設(shè)并努力才能實(shí)現(xiàn)的。而依照云原則建立的分布式系統(tǒng)則會(huì)使你可以按需求擴(kuò)展。這沒(méi)有爭(zhēng)議。當(dāng)使用一個(gè)企業(yè)內(nèi)部自建的數(shù)據(jù)庫(kù)集群時(shí),你必須不斷地配置,調(diào)整,重新分區(qū)來(lái)保持性能。沃格斯說(shuō),亞馬遜云計(jì)算服務(wù)消除了“數(shù)據(jù)庫(kù)即應(yīng)用”的瓶頸,因?yàn)闀?huì)可以按需要得到特定的性能特征的能力。這讓?xiě)?yīng)用擴(kuò)展變成一件簡(jiǎn)單得多的事兒。
實(shí)際調(diào)查三:私有云才能使“按需”更實(shí)惠
交錢(qián)給一個(gè)“云基礎(chǔ)設(shè)置即服務(wù)(IaaS)”的提供商肯定更容易,但是信息周刊的阿爾特·魏特曼指出,采用虛擬的私有云路線可以節(jié)省資金并提供更高的性能。這就是收買(mǎi)IaaS實(shí)際上正在放緩的原因之一。當(dāng)有特出需求時(shí),公共云確實(shí)無(wú)人能及,但是對(duì)于基礎(chǔ)功能,自己動(dòng)手更便宜一些。
亞馬遜承諾四:云使超級(jí)計(jì)算觸手可及
亞馬遜稱其系統(tǒng)在世界最強(qiáng)大的超級(jí)計(jì)算機(jī)排名中位列第42。為特定目的建造的,研究型機(jī)器名列前茅,因?yàn)樗鼈冊(cè)趤嗰R遜云計(jì)算服務(wù)上往往使用的是超級(jí)強(qiáng)大的圖形處理單元,而不是普通的CPU。不過(guò),公共云可以按小時(shí)計(jì)算提供難以置信的計(jì)算能力。
亞馬遜客戶Cycle Computing利用亞馬遜云計(jì)算服務(wù)的能力來(lái)應(yīng)對(duì)超級(jí)計(jì)算的挑戰(zhàn)。在公司目前最大的項(xiàng)目中,Cycle Computing能夠利用來(lái)自亞馬遜的全球的云計(jì)算服務(wù)的51000個(gè)計(jì)算核心的計(jì)算能力來(lái)為制藥公司薛定諤測(cè)試有可能的癌癥藥物。該系統(tǒng)完全運(yùn)行于亞馬遜云計(jì)算服務(wù)上,并且會(huì)在三小時(shí)內(nèi)給出結(jié)果,如果在單核心上運(yùn)行這一過(guò)程將超過(guò)12年的時(shí)間。
實(shí)際調(diào)查四:云超級(jí)計(jì)算是令人信服的
這里沒(méi)有爭(zhēng)議,我們僅有的狡辯就是云對(duì)于特出需求更適合;如果你有一個(gè)固定的基礎(chǔ)工作,擁有比租用更具優(yōu)勢(shì)。然而,研究往往都是要求極高的,因此對(duì)于有持續(xù)的超級(jí)計(jì)算需要的大制藥巨頭,云都是令人信服的就不足為奇了。Cycle Computing的首席執(zhí)行官杰森·斯托稱他的公司能夠在幾小時(shí)之內(nèi)利用亞馬遜云計(jì)算服務(wù)的超過(guò)50000個(gè)核心,而且他算出,這個(gè)系統(tǒng)與2000萬(wàn)到2500萬(wàn)美元的超級(jí)計(jì)算設(shè)備的能力相當(dāng)。以亞馬遜的價(jià)格,成本每小時(shí)僅為4848.85美元。
“這意味著任何有國(guó)家科學(xué)基金會(huì)資助的研究員或是在學(xué)術(shù)機(jī)構(gòu)或大公司任何人現(xiàn)在都能做科學(xué)研究,在如此短的時(shí)間內(nèi)在內(nèi)部系統(tǒng)上做同樣的事是不肯能的”,斯托說(shuō)。我們說(shuō),好極了!
亞馬遜承諾五:云推動(dòng)創(chuàng)新
對(duì)于推動(dòng)創(chuàng)新,亞馬遜首席技術(shù)官維爾納·沃格斯提出了強(qiáng)硬的觀點(diǎn),那就是你愿意不斷地實(shí)驗(yàn)并早點(diǎn)兒失敗。換句話說(shuō),你要快速地實(shí)驗(yàn),如果這個(gè)概念行不通,你不會(huì)在這次失敗上浪費(fèi)太多時(shí)間和金錢(qián)。美國(guó)公共電視網(wǎng)的副總裁
實(shí)際調(diào)查五:內(nèi)部的計(jì)算能力也能推動(dòng)創(chuàng)新
雖然按需的計(jì)算能力對(duì)商業(yè)實(shí)驗(yàn)非常令人矚目,現(xiàn)實(shí)則是隨著虛擬化,按需可以按公開(kāi)或私有的方式提供。例如,如果一個(gè)公司有七百萬(wàn)美元的虛擬化基礎(chǔ)設(shè)施為其基礎(chǔ)需要服務(wù),難道它不想在可行情況下挖掘儲(chǔ)備或額外能力,來(lái)支持研究嗎?這是我們把所有云企業(yè)視為例外而不是常規(guī)的另一個(gè)情況。
因此問(wèn)題是,你內(nèi)部有額外的,快速可用的能力嗎?或你需要轉(zhuǎn)向公共云嗎?兩個(gè)選項(xiàng)都說(shuō)得通。如果你需要大的能力而現(xiàn)在內(nèi)部沒(méi)有,那就需要公共云。
亞馬遜承諾六:大數(shù)據(jù)需要大的云
處理大數(shù)據(jù)上有許多工作,特別是它在多樣化和速度上日益增加,就好像是許多發(fā)展迅速的互聯(lián)網(wǎng)創(chuàng)業(yè)公司一樣。大數(shù)據(jù)與商務(wù)智能的舊有模式不同,沃格斯說(shuō),在那你經(jīng)常不知道你想問(wèn)的問(wèn)題是什么。那意味著你需要的資源有不確定性,使用公共云非常適合。可擴(kuò)展的,分布式的云服務(wù),如亞馬遜DynamoDB(NoSQL數(shù)據(jù)庫(kù)),RDS(關(guān)系數(shù)據(jù)庫(kù)服務(wù))和EMR(基于Hadoop的Elastic Map Reduce服務(wù))或競(jìng)爭(zhēng)對(duì)手的云產(chǎn)品(如微軟或谷歌),使快速應(yīng)對(duì)大數(shù)據(jù)分析良機(jī)成為可能。
實(shí)際調(diào)查六:大數(shù)據(jù)安全問(wèn)題仍然存在
的確,可擴(kuò)展的云服務(wù)特別適合那些從互聯(lián)網(wǎng)獲得數(shù)據(jù)的公司,但是對(duì)隱私和安全敏感的公司不會(huì)進(jìn)入云領(lǐng)域。醫(yī)院,銀行,情報(bào)機(jī)構(gòu)和其他公司都有好的理由懷疑,較好的本地安全仍然是主流。
即使在運(yùn)動(dòng)商業(yè)領(lǐng)域,很多隊(duì)伍也使用大數(shù)據(jù)源,比如NBA使用的Stats的SportVU系統(tǒng)和美國(guó)職棒大聯(lián)盟自2006年開(kāi)始使用的Pitch FX系統(tǒng)(不久加入了Field FX系統(tǒng)收集球場(chǎng)數(shù)據(jù))。這些基于攝像頭的系統(tǒng)跟蹤球員和球的位置,方向和速度,在每一次投擲和擊打時(shí),過(guò)程中產(chǎn)生大量的數(shù)據(jù)。這些都是公開(kāi)提供的數(shù)據(jù),但根據(jù)Sportsdatahub.com的執(zhí)行官凱文·古德非洛的說(shuō)法,隊(duì)伍一般不愿意把自己的數(shù)據(jù)放在公共云上。Sportsdatahub有專用主機(jī)而且還有基于Hadoop的系統(tǒng)的本地部署,設(shè)計(jì)用于幫助球隊(duì)發(fā)掘有潛力的隊(duì)員,團(tuán)隊(duì)策略和營(yíng)銷方法。
亞馬遜承諾七:移動(dòng)和云會(huì)形影不離
移動(dòng)是一個(gè)熱門(mén)的趨勢(shì),當(dāng)便捷起作用時(shí),基于云的實(shí)現(xiàn)就有了吸引力。美國(guó)公共廣播公司產(chǎn)品部門(mén)副總裁Jon Brendsel認(rèn)為,他的網(wǎng)絡(luò)資源根本不可能承受快速發(fā)展中的移動(dòng)視頻觀看需求,而AWS的及時(shí)出現(xiàn)可算是救危難于水火。廣播公司每個(gè)月要為超過(guò)三千萬(wàn)用戶提供各類有針對(duì)性的視頻及流媒體服務(wù),而每天移動(dòng)訪問(wèn)者的平均數(shù)量高達(dá)11.5萬(wàn)?;贏WS的移動(dòng)架構(gòu)承載著近70套運(yùn)行于Amazon EC2環(huán)境下的數(shù)據(jù)庫(kù),并在Amazon S3存儲(chǔ)服務(wù)端配備了超過(guò)170套存儲(chǔ)“籃”。正是依靠如此龐大的資源支持,公共廣播公司的視頻業(yè)務(wù)才得以正常運(yùn)轉(zhuǎn)。
三年前,公共廣播公司每個(gè)月需要處理200TB的視頻流數(shù)據(jù);而就在他們推出iPad視頻應(yīng)用程序一年之后的今天,這家企業(yè)每個(gè)月的視頻數(shù)據(jù)量已經(jīng)激增至40PB?!拔覀兂砷L(zhǎng)得很快,但在Amazon基礎(chǔ)設(shè)施的支持下,我們目前感覺(jué)一切良好”,Brendsel表示。
實(shí)際調(diào)查七:在移動(dòng)領(lǐng)域,時(shí)機(jī)很重要
實(shí)際情況是,盡管移動(dòng)業(yè)務(wù)還處于早期發(fā)展階段,但它必將迎來(lái)成熟期并最終趨于平穩(wěn)。出于這種考量,明智的CIO往往不會(huì)選擇無(wú)止境地推動(dòng)移動(dòng)相關(guān)設(shè)施擴(kuò)張,反而是在熱潮面前保持冷靜的判斷,根據(jù)自身現(xiàn)有及潛在需求實(shí)施部署。而一旦發(fā)展勢(shì)頭趨于平穩(wěn),擁有虛擬化設(shè)施的大型企業(yè)將能夠以更加低廉的運(yùn)營(yíng)成本實(shí)現(xiàn)對(duì)移動(dòng)業(yè)務(wù)的高效支持。