“淘寶CDN內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)承擔(dān)了‘光棍節(jié)’將近90%以上的訪問(wèn)，當(dāng)天的流量達(dá)到了800Gbps的帶寬。目前淘寶在全國(guó)布了100多個(gè)點(diǎn)，用戶訪問(wèn)和交易時(shí)，不需要從主數(shù)據(jù)庫(kù)調(diào)用圖片等，而是只需要就近從CDN系統(tǒng)上調(diào)用即可。這樣大大提高了消費(fèi)者的瀏覽速度”何燕鋒說(shuō)，“2012年淘寶的CDN節(jié)點(diǎn)部署將會(huì)接近300個(gè)，每個(gè)節(jié)點(diǎn)服務(wù)的帶寬是10Gbps，屆時(shí)用戶會(huì)有更好的體驗(yàn)。”。

在杭州市華數(shù)機(jī)房，DOSERV記者看到了部署在這里的淘寶CDN節(jié)點(diǎn)機(jī)，這也是淘寶首批部署的低功耗CDN節(jié)點(diǎn)機(jī)之一，主要針對(duì)通過(guò)杭州廣電接入互聯(lián)網(wǎng)的用戶。

淘寶CDN節(jié)點(diǎn)是一個(gè)小型的服務(wù)器集群，由存儲(chǔ)系統(tǒng)、調(diào)度系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)組成。其中，調(diào)度系統(tǒng)由兩臺(tái)基于英特爾至強(qiáng)的服務(wù)器組成，負(fù)責(zé)把用戶的請(qǐng)求分發(fā)給緩存系統(tǒng)中的不同服務(wù)器，讓它們響應(yīng)請(qǐng)求；網(wǎng)絡(luò)系統(tǒng)則由兩臺(tái)交換機(jī)組成雙鏈路，確保系統(tǒng)的可靠性；緩存系統(tǒng)則由7個(gè)2U機(jī)架組成，存放在一個(gè)機(jī)柜中，每個(gè)2U機(jī)架里部署了4個(gè)刀片，而每個(gè)刀片上有2臺(tái)單獨(dú)的基于英特爾凌動(dòng)（ATOM）處理器的低功耗服務(wù)器。這樣存儲(chǔ)系統(tǒng)總計(jì)有56臺(tái)服務(wù)器組成。

低功耗所以更高效

由于CDN節(jié)點(diǎn)托管在華數(shù)機(jī)房，一般而言，一個(gè)機(jī)柜能最多只能承受2200瓦的功耗，二十多臺(tái)服務(wù)器的功耗就超過(guò)了2200瓦的閥值。那淘寶CDN節(jié)點(diǎn)的存儲(chǔ)系統(tǒng)是如何將56臺(tái)服務(wù)器存放在一個(gè)機(jī)柜中的呢？何燕鋒介紹，由于采用了英特爾低功耗處理器作為服務(wù)器的“芯”，所以大大降低了服務(wù)器的功耗。普通處理器的功耗為80瓦左右，而ATOM處理器只有13瓦，因而即使是在2U機(jī)架中部署了8臺(tái)服務(wù)器，總功耗才200瓦，7個(gè)機(jī)柜就是1400多瓦，遠(yuǎn)沒(méi)有達(dá)到一個(gè)機(jī)柜的功耗上限。

而淘寶CDN節(jié)點(diǎn)服務(wù)器之所以能做到如此低的功耗，原因在于淘寶聯(lián)合超微和英特爾對(duì)服務(wù)器進(jìn)行了全方位的“改造”。用何燕鋒的話來(lái)說(shuō)，就是完全針對(duì)CDN加速的需要，將不需要的功能和配件全部舍棄了。同時(shí)針對(duì)CDN屬于I/O密集型的特點(diǎn)，采用英特爾低功耗處理器替代傳統(tǒng)的服務(wù)器處理器，弱化了CPU的計(jì)算能力，強(qiáng)化了輸入輸出能力。

另外考慮到熱插拔的需要，服務(wù)器的硬盤(pán)和系統(tǒng)通過(guò)一個(gè)主板隔離開(kāi)，一旦某塊硬盤(pán)出現(xiàn)故障，技術(shù)人員不需要宕機(jī)就能將壞的硬盤(pán)更換掉。目前，淘寶給每個(gè)2U機(jī)柜配24塊硬盤(pán)，也即每臺(tái)服務(wù)器有3塊硬盤(pán)來(lái)存取數(shù)據(jù)。這3塊硬盤(pán)又按照1塊SSD硬盤(pán)和2塊SATA硬盤(pán)的配比，將熱點(diǎn)數(shù)據(jù)存放在SSD盤(pán)上，而非熱點(diǎn)數(shù)據(jù)則存放在SATA盤(pán)上。這樣的配比大大提高了用戶訪問(wèn)時(shí)的數(shù)據(jù)快速調(diào)取和命中的幾率。而實(shí)現(xiàn)這種機(jī)制的，正是淘寶自己開(kāi)發(fā)的緩存管理系統(tǒng)。

在華數(shù)機(jī)房試驗(yàn)成功后，淘寶又在青島、廈門(mén)和佛山等地部署了同樣的CDN節(jié)點(diǎn)，總的服務(wù)器數(shù)量超過(guò)了800臺(tái)。正是這些CDN分發(fā)服務(wù)器，幫助淘寶順利渡過(guò)了“光棍節(jié)”等超大交易量的考驗(yàn)。

CDN節(jié)點(diǎn)機(jī)的前世今生

CDN節(jié)點(diǎn)機(jī)在“光棍節(jié)”交易高峰中居功至偉，然而查遍市場(chǎng)上的服務(wù)器，卻較少見(jiàn)其蹤跡，這又為何呢？何燕鋒表示，這是淘寶、超微和英特爾聯(lián)合研制的專有產(chǎn)品，專門(mén)為CDN分發(fā)量身定制。參與該項(xiàng)目的阿里集團(tuán)技術(shù)品牌部高級(jí)研究員（副總裁）章文嵩博士則向DOSERV記者介紹了節(jié)點(diǎn)機(jī)中低功耗服務(wù)器的來(lái)龍去脈。

淘寶技術(shù)團(tuán)隊(duì)在多年的實(shí)踐中發(fā)現(xiàn)，對(duì)于像淘寶這樣的互聯(lián)網(wǎng)應(yīng)用而言，大部分是數(shù)據(jù)密集型的訪問(wèn)，I/O會(huì)特別忙，但是CPU卻相對(duì)空閑。假如用低功耗CPU來(lái)做服務(wù)器處理平臺(tái)的話，將會(huì)是一個(gè)很好的選擇，因?yàn)榈凸腃PU整體處理能力會(huì)稍微弱一點(diǎn)，但是功耗會(huì)特別低。為此，以章文嵩博士為首的技術(shù)團(tuán)隊(duì)研究了國(guó)外的案例，對(duì)比了 ARM、英特爾和AMD的處理器，并最終選擇了英特爾的低功耗處理器作為低功耗服務(wù)器的“芯”。

“淘寶在2009年底開(kāi)始啟動(dòng)低功耗服務(wù)器項(xiàng)目，那時(shí)我們也在思考和比較，因?yàn)锳RM也是一種選擇，MIPS也是一種選擇。當(dāng)時(shí)考慮到遷移的成本，因?yàn)椴煌噶铙w系的架構(gòu)遷移成本會(huì)比較高，比如操作系統(tǒng)就需要兩套等。另外，新平臺(tái)的穩(wěn)定性也需要時(shí)間來(lái)證明，客戶對(duì)新平臺(tái)的接受程度等等，都是需要考慮的因素。”章文嵩博士表示，“最終我們選了Intel x86架構(gòu)處理器來(lái)做低功耗服務(wù)器。”

2010年8月，在淘寶的推動(dòng)下，Intel聯(lián)合超微根據(jù)淘寶的需求設(shè)計(jì)了ATOM處理器的低功耗服務(wù)器，并提供原型機(jī)給淘寶進(jìn)行測(cè)試。

最初，原型機(jī)的測(cè)試結(jié)果只能到達(dá)900qps(每秒處理請(qǐng)求數(shù))，未能達(dá)到1000qps的設(shè)計(jì)要求。后來(lái)，通過(guò)淘寶的優(yōu)化，將硬盤(pán)的控制模式由IDE改為AHCI，處理能力達(dá)到了1300qps，遠(yuǎn)遠(yuǎn)超過(guò)了設(shè)計(jì)能力。并且后續(xù)通過(guò)優(yōu)化IO的性能，最終單片服務(wù)器的能力到達(dá)了1900qps。至此，通過(guò)軟件的優(yōu)化，淘寶使得低功耗的服務(wù)性能完全超出了預(yù)期。

一切為了綠色

章文嵩博士坦言，CDN節(jié)點(diǎn)低功耗服務(wù)器只是開(kāi)始，未來(lái)淘寶還會(huì)根據(jù)需要定制其它類型的低功耗服務(wù)器。更難能可貴的是，淘寶并沒(méi)有將自己的研制成果鎖進(jìn)“保險(xiǎn)柜”里，當(dāng)做獨(dú)家的財(cái)富。

“我們已經(jīng)把CDN節(jié)點(diǎn)低功耗服務(wù)器的規(guī)格以及調(diào)優(yōu)過(guò)程，發(fā)布到了Green Compute.org網(wǎng)站上，希望能有更多的企業(yè)受益。”章文嵩博士表示，“淘寶的定制服務(wù)器，不僅淘寶自己用，而且它還是面向全行業(yè)的，可以賣給別人，淘寶也鼓勵(lì)廠商賣給其他用戶。”

目前，淘寶還在積極聯(lián)系騰訊、百度等互聯(lián)網(wǎng)企業(yè)，希望能聯(lián)合起來(lái)，共同推動(dòng)中國(guó)的綠色計(jì)算的發(fā)展。章文嵩博士呼吁，希望有更多的企業(yè)參與到綠色計(jì)算的項(xiàng)目中，共同推動(dòng)包括低功耗服務(wù)器定制、高性能服務(wù)器定制、機(jī)柜的設(shè)計(jì)、直流供電、數(shù)據(jù)中心空調(diào)、數(shù)據(jù)中心設(shè)計(jì)等IDC“計(jì)算”產(chǎn)業(yè)的“綠色”化。

“眾人拾柴火焰高！只有很多企業(yè)聚在一起，才能把綠色計(jì)算做得更大更深，才會(huì)對(duì)業(yè)界真正有幫助。只有大家把經(jīng)驗(yàn)分享出來(lái)，才會(huì)對(duì)對(duì)整個(gè)產(chǎn)業(yè)有很大的促進(jìn)。”章文嵩博士強(qiáng)調(diào)。

xuzhenxin