布局DSP業(yè)務(wù),對(duì)云成本優(yōu)化提出新要求

2018年,為進(jìn)一步實(shí)現(xiàn)業(yè)務(wù)的多元性,數(shù)字聯(lián)盟基于云端開(kāi)發(fā)與部署其DSP業(yè)務(wù)。目前,該產(chǎn)品的日均廣告請(qǐng)求量達(dá)到120億次,最高峰值可達(dá)到200億次,并且仍在快速增長(zhǎng)中。

隨著DSP業(yè)務(wù)的高速增長(zhǎng),數(shù)字聯(lián)盟的用云成本快速上升。導(dǎo)致這一情況的原因主要有兩個(gè)方面。首先,DSP業(yè)務(wù)具有明顯的高低峰時(shí)段特征,數(shù)字聯(lián)盟每天高峰時(shí)段與低谷時(shí)段的廣告請(qǐng)求量相差較大 ,導(dǎo)致云計(jì)算資源浪費(fèi)。具體表現(xiàn)為,當(dāng)廣告請(qǐng)求量處于低谷時(shí), IT資源無(wú)法充分利用,而當(dāng)請(qǐng)求量處于高峰時(shí),則會(huì)出現(xiàn)IT資源不足而導(dǎo)致廣告流量處理跟不上需求。

此外,隨著數(shù)字聯(lián)盟DSP業(yè)務(wù)規(guī)模的不斷增長(zhǎng),導(dǎo)致其在流量高峰時(shí)需要處理的數(shù)據(jù)量急劇上升,這不僅要求大量的云計(jì)算資源,也要求系統(tǒng)能夠快速處理相關(guān)廣告請(qǐng)求,并具備更好的可拓展性和穩(wěn)定性。

數(shù)字聯(lián)盟技術(shù)總監(jiān)鄧為強(qiáng)表示,彼時(shí)的數(shù)字聯(lián)盟需要一套綜合性的解決方案,來(lái)適應(yīng)業(yè)務(wù)運(yùn)行過(guò)程中廣告流量的動(dòng)態(tài)變化,以及由此引發(fā)的自動(dòng)增加或減少設(shè)備資源的情況。需要既能確保流量的處理能力和業(yè)務(wù)的穩(wěn)定運(yùn)行,同時(shí)又能提升云計(jì)算資源的利用率。

為什么是SpotMax?

事實(shí)上,被云成本浪費(fèi)所困擾的企業(yè)不僅數(shù)字聯(lián)盟一家。2017年,彼時(shí)的移動(dòng)廣告及營(yíng)銷(xiāo)服務(wù)技術(shù)平臺(tái)Mobvista,同樣面臨著云成本居高不下的難題。

2017年,隨著Mobvista程序化廣告業(yè)務(wù)的爆發(fā),流量激增進(jìn)一步帶動(dòng)企業(yè)用云成本大幅上升。當(dāng)時(shí)的Mobvista在云端已經(jīng)做過(guò)多輪嘗試,包括對(duì)低CPU利用率機(jī)器的合并淘汰,對(duì)數(shù)據(jù)存儲(chǔ)的優(yōu)化,購(gòu)買(mǎi)Reserved Instance預(yù)留實(shí)例等。但是云資源成本問(wèn)題仍然給公司帶來(lái)了巨大的挑戰(zhàn)。因此Mobvista決定自研一套方案以降低企業(yè)用云成本。最終通過(guò)自研的大型彈性集群管理平臺(tái)SpotMax, Mobvista的用云成本大幅降低超65%,兩年內(nèi)用云成本節(jié)省了幾千萬(wàn)。

關(guān)注到仍有許多企業(yè)面臨著云成本優(yōu)化難題,Mobvista決定進(jìn)一步將SpotMax產(chǎn)品化。去年8月,Mobvista聯(lián)合阿里云正式對(duì)外推出SpotMax,旨在充分發(fā)揮阿里云搶占式實(shí)例價(jià)格優(yōu)勢(shì)的同時(shí),智能化維護(hù)并保證集群穩(wěn)定。幫助更多企業(yè)輕松享受更高性價(jià)比的優(yōu)質(zhì)云服務(wù)。而數(shù)字聯(lián)盟便是嘗試使用SpotMax的最早一批企業(yè)之一。

鄧為強(qiáng)表示,由于SpotMax已形成了一套較為成熟的云資源優(yōu)化解決方案,可以立即使用,來(lái)幫助數(shù)字聯(lián)盟實(shí)現(xiàn)靈活的、彈性的云資源設(shè)備部署,降低整體使用成本?！耙虼?我們選擇與Mobvista合作,通過(guò)他們自研的SpotMax平臺(tái)來(lái)解決我們現(xiàn)有的問(wèn)題和增強(qiáng)我們的數(shù)據(jù)處理能力。”

大幅降低云成本,彈性伸縮是關(guān)鍵

通過(guò)分析,SpotMax團(tuán)隊(duì)發(fā)現(xiàn)數(shù)字聯(lián)盟DSP框架存在的主要問(wèn)題是采用大機(jī)型的實(shí)例和固定數(shù)量的機(jī)器進(jìn)行線上服務(wù)。Mobvista集團(tuán)副總裁兼首席工程架構(gòu)師蔡超說(shuō):“這種情況容易造成用云成本偏高,優(yōu)化空間小、且不利于后續(xù)采用彈性資源的穩(wěn)定運(yùn)行。但如果能優(yōu)化云上架構(gòu),并采用搶占式實(shí)例代替包年包月固定機(jī)器的形式,用云成本將至少降低一半以上”。

因此,SpotMax團(tuán)隊(duì)主要從兩個(gè)方面對(duì)數(shù)字聯(lián)盟的DSP框架進(jìn)行優(yōu)化:首先,使用搶占式實(shí)例來(lái)取代包年包月固定機(jī)器,達(dá)到實(shí)例成本的縮減,并使用SpotMax自研的MaxGroup服務(wù)來(lái)確保使用搶占式實(shí)例時(shí)不影響業(yè)務(wù)的穩(wěn)定運(yùn)行;其次,采用彈性云計(jì)算方案,針對(duì)每天線上業(yè)務(wù)的數(shù)據(jù)量負(fù)載情況,實(shí)現(xiàn)云端資源的動(dòng)態(tài)分配和管理,并完善運(yùn)維架構(gòu)以實(shí)現(xiàn)精準(zhǔn)的自動(dòng)化監(jiān)控及報(bào)警,從而達(dá)到從整體上最大化降低成本的目標(biāo)。

通過(guò)以上方案,SpotMax以更少的云端資源、更靈活的鏡像管理、更符合阿里云特性的彈性云架構(gòu),不僅解決了數(shù)字聯(lián)盟DSP此前存在的“無(wú)彈性工作方式” 所造成的資源浪費(fèi)問(wèn)題,而且保障了其線上服務(wù)在改造過(guò)程中不受影響地穩(wěn)定運(yùn)行,從而實(shí)現(xiàn)了云資源成本的大幅降低。

鄧為強(qiáng)表示,“通過(guò)與SpotMax團(tuán)隊(duì)的合作,數(shù)字聯(lián)盟DSP當(dāng)前成本降低了65%。基于云平臺(tái)的架構(gòu)方案使得后續(xù)DSP業(yè)務(wù)能有更良好的伸縮空間,不會(huì)被成本所掣肘,對(duì)后續(xù)DSP業(yè)務(wù)及大數(shù)據(jù)的規(guī)?；ㄔO(shè)建立了良好的基礎(chǔ)。”

此外,在合作過(guò)程中, SpotMax團(tuán)隊(duì)提供了全程跟進(jìn)服務(wù),不斷完善該套云資源優(yōu)化解決方案。數(shù)字聯(lián)盟對(duì)此也大為肯定。

“在這個(gè)過(guò)程中,SpotMax強(qiáng)大的技術(shù)團(tuán)隊(duì)不僅為我們?cè)O(shè)計(jì)了符合我們業(yè)務(wù)的優(yōu)化方案,而且還會(huì)按照詳細(xì)的流程進(jìn)行實(shí)時(shí)跟進(jìn),在合作中對(duì)遇到的問(wèn)題都能夠積極組織人員進(jìn)行探討和解決,最終提前并超額完成預(yù)定目標(biāo),是一個(gè)值得信賴的合作伙伴?！?鄧為強(qiáng)補(bǔ)充到。

songjy