自2014年5月上市以來(lái)，京東集團(tuán)每年的交易額都飛速增長(zhǎng)，這背后是京東超過(guò)17.9萬(wàn)名員工的不懈努力，如身著紅衣腳踏電動(dòng)三輪的“京東小哥”，還有聲音甜美圓潤(rùn)的京東客服，以及不善言辭悶頭苦干的工程師團(tuán)隊(duì)……等等。除此之外，還有一批特殊的“員工”，它們支撐起了京東商城每天成百上千萬(wàn)次正常訪問(wèn)——數(shù)萬(wàn)乃至數(shù)十萬(wàn)臺(tái)IT設(shè)備，典型如服務(wù)器。

這數(shù)十萬(wàn)臺(tái)設(shè)備分布在全國(guó)各地的數(shù)十個(gè)數(shù)據(jù)中心內(nèi)，形成以華北北京、華東上海、華東宿遷、華南廣州為核心的4大區(qū)域總計(jì)10個(gè)可用區(qū)的整體布局，再輔以數(shù)十個(gè)遍布全國(guó)的小型IDC機(jī)房，由此成就了京東云——為京東集團(tuán)業(yè)務(wù)提供IT支撐，并對(duì)外提供云服務(wù)，為合作伙伴數(shù)據(jù)中心轉(zhuǎn)型提供幫助。

為探尋互聯(lián)網(wǎng)企業(yè)高速發(fā)展背后的秘密，考察其在數(shù)據(jù)中心方面的技術(shù)探索與成果，由E企研究院發(fā)起的“數(shù)字中國(guó)萬(wàn)里行2019”活動(dòng)華東區(qū)首站選擇了京東云最大的數(shù)據(jù)中心——位于江蘇省宿遷市駱馬湖畔的京東云華東數(shù)據(jù)中心——這也是京東云首個(gè)自建的數(shù)據(jù)中心園區(qū)：總投資35億元，占地200畝，相當(dāng)于19個(gè)標(biāo)準(zhǔn)足球場(chǎng)面積之和；整體由4個(gè)云數(shù)據(jù)中心模塊和1棟綜合大樓組成，單個(gè)數(shù)據(jù)中心模塊約有4.5萬(wàn)臺(tái)標(biāo)準(zhǔn)服務(wù)器安裝與部署能力。目前一期已于2016年投產(chǎn)運(yùn)營(yíng)，除了為京東商城提供支撐之外，還為京東數(shù)科、宿遷市政府、中國(guó)聯(lián)通與中國(guó)電信等客戶(hù)提供云服務(wù)。

挑戰(zhàn)與收益：為何巨頭青睞自建數(shù)據(jù)中心

數(shù)據(jù)中心是一個(gè)重資產(chǎn)行業(yè)，僅建設(shè)就需要投入數(shù)十億元，如京東云華東數(shù)據(jù)中心僅一期建設(shè)就投入了15億元，這還不包括建成后的服務(wù)器等IT設(shè)備的采購(gòu)成本以及投產(chǎn)之后的運(yùn)營(yíng)成本，以單個(gè)數(shù)據(jù)中心4.5萬(wàn)臺(tái)服務(wù)器容量計(jì)算，每臺(tái)服務(wù)器300W（瓦特）為例，再加上冷卻系統(tǒng)的耗電（以年均PUE=1.3計(jì)），每年僅電費(fèi)支出就以?xún)|元為單位（按江蘇省大工業(yè)用電價(jià)計(jì)算）。

但自建數(shù)據(jù)中心卻是邁入“巨頭”行列的入場(chǎng)券，縱觀國(guó)內(nèi)外的互聯(lián)網(wǎng)巨頭，無(wú)一不擁有自建數(shù)據(jù)中心，且隨著數(shù)字化進(jìn)程的加快，他們也都在加速自己的數(shù)據(jù)中心建設(shè)。自建數(shù)據(jù)中心雖然投入巨大，但卻有其獨(dú)有的優(yōu)勢(shì)，作為IT的基礎(chǔ)設(shè)施支撐，自建數(shù)據(jù)中心所有環(huán)節(jié)都由自己掌控，可以按照IT的需求而設(shè)計(jì)建設(shè)。

僅就機(jī)柜供電來(lái)說(shuō)，不同業(yè)務(wù)場(chǎng)景對(duì)供電的要求是不一樣，比如冷存儲(chǔ)場(chǎng)景單個(gè)機(jī)柜可能只需要3～5KW（千瓦）的供電就能滿(mǎn)足，計(jì)算密集型應(yīng)用單個(gè)機(jī)柜可能需要5～8KW的供電，現(xiàn)在火熱的AI技術(shù)所需服務(wù)器則要求機(jī)柜更高的供電能力。傳統(tǒng)租賃數(shù)據(jù)中心內(nèi)的機(jī)柜供電大約在3～5KW左右，供需之間的不平衡，必然造成不便和資源浪費(fèi)。而京東云華東數(shù)據(jù)中心在機(jī)柜供電方面就有多種選擇，比如4KW供電能力的標(biāo)準(zhǔn)模塊、8KW的高密模塊以及12KW的微模塊機(jī)房，這為應(yīng)用部署提供了靈活性，同時(shí)又起到合理利用資源的作用。

IT在現(xiàn)代社會(huì)中所發(fā)揮的作用已經(jīng)毋庸多說(shuō)，尤其是對(duì)于以京東為代表的互聯(lián)網(wǎng)企業(yè)而言，IT就是核心競(jìng)爭(zhēng)力，如何保證IT不停頓、業(yè)務(wù)不中斷是頭等大事，尤其是數(shù)據(jù)中心規(guī)模日趨增大的情況下，一旦數(shù)據(jù)中心不可用，意味著其所承載的多個(gè)IT系統(tǒng)都將面臨中斷，對(duì)于云數(shù)據(jù)中心而言，還將影響大批用戶(hù)，其后果將是災(zāi)難性，幾乎無(wú)法用數(shù)字來(lái)衡量。

發(fā)展多年的傳統(tǒng)數(shù)據(jù)中心在可用性建設(shè)方面多個(gè)標(biāo)準(zhǔn)可以參考，但這可能并不完全契合互聯(lián)網(wǎng)云數(shù)據(jù)中心的可用性特點(diǎn)。以常見(jiàn)的美國(guó)數(shù)據(jù)中心行業(yè)Uptime機(jī)構(gòu)制定的Tier 4標(biāo)準(zhǔn)為例，其要求數(shù)據(jù)中心符合2N和物理隔離設(shè)計(jì)，這對(duì)于傳統(tǒng)數(shù)據(jù)中心而言，具有很好的指導(dǎo)作用。但并不太契合云數(shù)據(jù)中心的特點(diǎn)，云數(shù)據(jù)中心在單體數(shù)據(jù)中心之上再有“可用區(qū)域”的概念，通常由相隔數(shù)十公里的多個(gè)數(shù)據(jù)中心組成一個(gè)可用區(qū)，當(dāng)某個(gè)數(shù)據(jù)中心故障后，其業(yè)務(wù)可由同一個(gè)可用區(qū)內(nèi)的另一個(gè)數(shù)據(jù)中心接管替代。這實(shí)際上在單體數(shù)據(jù)中心更高一級(jí)的層面實(shí)現(xiàn)了2N可用性。

互聯(lián)網(wǎng)巨頭們自建數(shù)據(jù)中心是“新（需求）舊（標(biāo)準(zhǔn)）沖突”下為契合自身業(yè)務(wù)需求而進(jìn)行的探索實(shí)踐，公有云提供商的云數(shù)據(jù)中心通常符合Tier 3標(biāo)準(zhǔn)，部分系統(tǒng)使用Tier 4中的2N和物理隔離設(shè)計(jì)，也許從單個(gè)數(shù)據(jù)中心來(lái)看可能并未達(dá)到最高可用性，但從“可用區(qū)”層面來(lái)看，其實(shí)際上超越了Tier 4標(biāo)準(zhǔn)，在一定程度上而言，與最高可用性等級(jí)的金融級(jí)數(shù)據(jù)中心“兩地三中心”理念頗有相似之處。

云數(shù)據(jù)中心建設(shè)：自上而下，以業(yè)務(wù)為前提

傳統(tǒng)租賃數(shù)據(jù)中心建設(shè)，除了極少數(shù)之外，大多是先有基礎(chǔ)設(shè)施，再對(duì)外承接業(yè)務(wù)，所以同樣是為了滿(mǎn)足業(yè)務(wù)需求，但傳統(tǒng)租賃數(shù)據(jù)中心考慮到不確定的多種客戶(hù)需求，通常采用通用、成熟的標(biāo)準(zhǔn)化技術(shù)，遵循主流標(biāo)準(zhǔn)進(jìn)行建設(shè)，供需不平衡在所難免。但互聯(lián)網(wǎng)云數(shù)據(jù)中心則是自上而下進(jìn)行建設(shè)，即先有業(yè)務(wù)需求，再自建數(shù)據(jù)中心。作為IT的承載，要探尋互聯(lián)網(wǎng)云數(shù)據(jù)中心的特點(diǎn)，必然要先了解其IT的特點(diǎn)。

喜歡定制是互聯(lián)網(wǎng)巨頭們的一大特點(diǎn)，自建數(shù)據(jù)中心也可看作是對(duì)數(shù)據(jù)中心進(jìn)行定制。連數(shù)據(jù)中心都要定制，位于核心的IT進(jìn)行深度定制也就不難理解了。京東云從IT硬件底層就開(kāi)始進(jìn)行定制，比如處理器，京東云華東數(shù)據(jù)中心內(nèi)的服務(wù)器就全面采用定制的第二代英特爾至強(qiáng)可擴(kuò)展處理器，即代號(hào)為Cascade Lake的至強(qiáng)處理器。

相比于上一代SkyLake處理器，相同定位等級(jí)的Cascade Lake處理器多數(shù)擁有更高的主頻，即計(jì)算性能更好，這也是為什么互聯(lián)網(wǎng)巨頭們喜歡采用新硬件新技術(shù)的原因之一，這實(shí)際意味著每單位計(jì)算成本的下降，即相同的一塊錢(qián)可以買(mǎi)到更多的計(jì)算性能。當(dāng)然其前提是采購(gòu)量大?；ヂ?lián)網(wǎng)巨頭，尤其是公有云服務(wù)提供商每年都有數(shù)萬(wàn)臺(tái)乃至數(shù)十萬(wàn)臺(tái)服務(wù)器的采購(gòu)量，其收益自然不言而喻。而京東云不僅承載京東商城業(yè)務(wù)，還對(duì)外提供云服務(wù)，服務(wù)器需求量越大，從新產(chǎn)品中獲益當(dāng)然也就越多。

而定制處理器的好處在于，可以釋放處理器更多的計(jì)算性能，比如擁有更多計(jì)算核心，或者更高主頻，亦或是二者皆有。更多的計(jì)算核心或更高的主頻通常意味著更高的供電能力與更強(qiáng)的散熱需求，這也是自建數(shù)據(jù)中心的一大優(yōu)勢(shì)，能夠提供滿(mǎn)足IT所需的供電與散熱要求。

與定制處理器聯(lián)動(dòng)的是對(duì)服務(wù)器的重新設(shè)計(jì)。互聯(lián)網(wǎng)與云業(yè)務(wù)都要求IT基礎(chǔ)設(shè)施能夠快速部署以滿(mǎn)足業(yè)務(wù)高速擴(kuò)張的需求，也就是說(shuō)可能在短期內(nèi)需要大量的服務(wù)器上線。如何縮短服務(wù)器上架時(shí)間？京東云采用了微模塊數(shù)據(jù)中心技術(shù)。

京東云華東數(shù)據(jù)中心內(nèi)部署的微模塊，采用地板下送風(fēng)，并封閉冷通道

微模塊數(shù)據(jù)中心，通常是將數(shù)十個(gè)機(jī)柜相對(duì)而立，封閉中間的冷通道，然后按預(yù)先設(shè)計(jì)的機(jī)柜位置整體部署，以縮短部署周期。

從上圖可以看到，京東云微模塊數(shù)據(jù)中心依舊采用地板下送風(fēng)方式，這可能部署時(shí)間較早的緣故。實(shí)際上，在參觀第二個(gè)機(jī)房模塊的時(shí)候，我們發(fā)現(xiàn)京東云有更進(jìn)一步的微模塊技術(shù)，不再使用地板下送風(fēng)方式，而是在微模塊內(nèi)集成了精密行間空調(diào)，冷凍水管直接進(jìn)機(jī)房供給行間空調(diào)；同時(shí)微模塊內(nèi)集成電源列頭柜。微模塊頂部布線，底部墊高，用于鋪設(shè)冷凍水供回水管道。

這樣的好處在于，一是可以縮短機(jī)房建設(shè)速度，微模塊內(nèi)集成了空調(diào)與供電，機(jī)房建設(shè)好之后只需鋪設(shè)冷凍水管道和主干電源線路，無(wú)需額外的施工；二是用現(xiàn)場(chǎng)拼裝代替了現(xiàn)場(chǎng)施工，大大降低了項(xiàng)目的復(fù)雜程度，同時(shí)避免出錯(cuò)導(dǎo)致的重復(fù)施工；三是冷源（行間空調(diào)）離熱源（服務(wù)器/網(wǎng)絡(luò)設(shè)備）更近并可靈活增減數(shù)量，可以滿(mǎn)足更高的功率密度。

對(duì)于京東而言，光有計(jì)算能力是遠(yuǎn)遠(yuǎn)不夠的，還需要高性能的存儲(chǔ)。在存儲(chǔ)方面，京東云率先大規(guī)模使用了英特爾公司的Optane系列SSD產(chǎn)品。SSD是當(dāng)代企業(yè)的共同選擇，但對(duì)于每天要承載數(shù)千萬(wàn)乃至上億次訪問(wèn)量的京東商城而言，只用SSD是遠(yuǎn)遠(yuǎn)不夠的。普通的企業(yè)級(jí)SSD通常讀寫(xiě)性能不均衡，且寫(xiě)性能相對(duì)較弱，還有全盤(pán)寫(xiě)入次數(shù)限制，并不能完全滿(mǎn)足在線事務(wù)處理類(lèi)應(yīng)用（即OLTP，典型以數(shù)據(jù)庫(kù)應(yīng)用為代表）。為了提升性能，京東云采用了Optane，雖然也被稱(chēng)之為SSD，但Optane卻使用的是全新的材質(zhì)，擁有更好的、更均衡的讀寫(xiě)性能，且更低的響應(yīng)時(shí)間，無(wú)需擔(dān)心壽命等優(yōu)點(diǎn)。

供電與制冷：高可靠保證與綠色節(jié)能

建設(shè)數(shù)據(jù)中心的目的是為保證IT的持續(xù)安全穩(wěn)定地運(yùn)行，除了數(shù)據(jù)中心選址要盡量避開(kāi)地震、火山等地理位置，以及建筑本身的避震避災(zāi)能力設(shè)計(jì)之外，供電與冷卻系統(tǒng)設(shè)計(jì)成為關(guān)鍵。京東云數(shù)據(jù)中心采用一主一備兩路市電+UPS供電系統(tǒng)設(shè)計(jì)。

京東云華東數(shù)據(jù)中心內(nèi)的供電系統(tǒng)：變壓器及配電柜。兩排供電設(shè)備間的巡檢通道有黃線警示，并鋪設(shè)有絕緣地板

京東云華東數(shù)據(jù)中心具有專(zhuān)屬的110KV變電站，其上一級(jí)來(lái)自?xún)蓚€(gè)不同的220KV變電站專(zhuān)線。在110KV變電站內(nèi)設(shè)2臺(tái)變壓器，容量滿(mǎn)足整個(gè)數(shù)據(jù)中心園區(qū)的最大用電量。當(dāng)兩臺(tái)變壓器任意一臺(tái)檢修或發(fā)生故障時(shí)，另一臺(tái)完全滿(mǎn)足園區(qū)內(nèi)所有設(shè)備的正常用電需求。

UPS系統(tǒng)平?？梢哉鳎?dāng)遇到市電中斷的情況下，可以提供不低于15分鐘的供電能力，用以支撐柴發(fā)系統(tǒng)啟動(dòng)，直到其穩(wěn)定運(yùn)轉(zhuǎn)到既定功率。京東云華東數(shù)據(jù)中心一期中部署了總計(jì)8臺(tái)柴發(fā)并聯(lián)，以N+1模式待命，以備當(dāng)兩路市電都故障情況下，為機(jī)房、冷站及照明系統(tǒng)供電。柴發(fā)油罐儲(chǔ)油量在無(wú)外部支援情況下可滿(mǎn)足發(fā)電機(jī)組超過(guò)12小時(shí)的正常穩(wěn)定運(yùn)行，在此期間，緊急供油協(xié)議啟動(dòng)并保證柴發(fā)系統(tǒng)能夠不限時(shí)間運(yùn)轉(zhuǎn)。

柴發(fā)室內(nèi)的一組4臺(tái)柴油發(fā)電機(jī)，在建筑另一端則有另外一組4臺(tái)柴發(fā)

冷卻系統(tǒng)設(shè)計(jì)是自建數(shù)據(jù)中心的重中之重，因?yàn)閿?shù)據(jù)中心冷卻系統(tǒng)是IT持續(xù)穩(wěn)定運(yùn)行的關(guān)鍵因素之一，同時(shí)，一個(gè)優(yōu)異的數(shù)據(jù)中心冷卻系統(tǒng)還能帶來(lái)直接的成本節(jié)省。衡量數(shù)據(jù)中心效率有一個(gè)關(guān)鍵指標(biāo)——PUE，即數(shù)據(jù)中心的總能耗與用于IT的能耗之比，這個(gè)比值總是大于1的，越接近于1意味著其能效越好。

以京東云華東數(shù)據(jù)中心為例，數(shù)字中國(guó)萬(wàn)里行團(tuán)隊(duì)抵達(dá)宿遷正值“秋老虎”肆虐之際，室外氣溫約為34℃，據(jù)京東云數(shù)據(jù)顯示，綜合全年來(lái)看，華東數(shù)據(jù)中心一期的年均PUE低于1.3。這個(gè)PUE 1.3可簡(jiǎn)單理解為，每當(dāng)包括服務(wù)器、存儲(chǔ)與網(wǎng)絡(luò)在內(nèi)的IT設(shè)備消耗1度電，數(shù)據(jù)中心內(nèi)其他如散熱、照明等系統(tǒng)還要同時(shí)消耗0.3度電。而在這0.3度電中，絕大部分都用于制冷。這一值也低于原本設(shè)計(jì)的PUE 1.35，別小看這0.05，對(duì)于京東云這種超大規(guī)模云數(shù)據(jù)中心而言，以4.5萬(wàn)臺(tái)服務(wù)器計(jì)算，每年可節(jié)省數(shù)百萬(wàn)元的電費(fèi)支出。

京東云華東數(shù)據(jù)中心內(nèi)的冷站，顏色分明的管道標(biāo)識(shí)，藍(lán)色與綠色分別為冷凍水供回水管道；黃色與紅色為冷卻水供回水管道

京東云華東數(shù)據(jù)中心冷站主要由4臺(tái)700冷噸的離心式冷水機(jī)組以3+1形式構(gòu)成，用于承擔(dān)整個(gè)數(shù)據(jù)中心的制冷需求。市政補(bǔ)水系統(tǒng)及供回水管道均采用雙路一主一備設(shè)計(jì)，以保證空調(diào)的持續(xù)穩(wěn)定運(yùn)行。為了預(yù)防兩路水源與冷水機(jī)組同時(shí)不可用，后備蓄水池與蓄冷罐當(dāng)然也必不可少。

京東云華東數(shù)據(jù)中心內(nèi)的蓄冷罐，共計(jì)4個(gè)蓄冷罐，總計(jì)可容納180立方米冷凍水

降低數(shù)據(jù)中心PUE不僅能夠?qū)崿F(xiàn)成本節(jié)省，還符合國(guó)家節(jié)能減排戰(zhàn)略。降低PUE的實(shí)質(zhì)在于減少冷卻系統(tǒng)的能耗，冷卻系統(tǒng)70%以上的能耗都用于冷水機(jī)組。所以實(shí)現(xiàn)PUE值降低最直接有效的手段就是盡量減少冷水機(jī)組的運(yùn)行時(shí)間，而充分利用數(shù)據(jù)中心所在地的自然冷源。

京東云華東數(shù)據(jù)中心所在地宿遷，年均氣溫14.2攝氏度，無(wú)霜期較長(zhǎng)，室外自然冷源條件充足，且室外設(shè)備被凍結(jié)故障的可能性小。所以京東云在冷凍水系統(tǒng)中增加了板式換熱器（簡(jiǎn)稱(chēng)板換），與冷水機(jī)組并聯(lián)。

在實(shí)際運(yùn)行中，冷凍水系統(tǒng)在室外日平均溫度持續(xù)5天以上低于10℃時(shí)，開(kāi)啟板換并關(guān)閉冷機(jī)，日平均溫度持續(xù)5天以上高于10℃時(shí)，再啟用冷機(jī)。并且，在傳統(tǒng)的Free Cooling技術(shù)基礎(chǔ)上，京東云增加了一套自主設(shè)計(jì)的氣候環(huán)境采集控制系統(tǒng)，完全實(shí)現(xiàn)了制冷系統(tǒng)根據(jù)室內(nèi)外環(huán)境溫度、濕度、系統(tǒng)負(fù)荷大小、平滑連續(xù)的調(diào)節(jié)各組件運(yùn)行狀態(tài)，始終保持系統(tǒng)在最佳的效率區(qū)間。據(jù)京東云統(tǒng)計(jì)，全年可以”免費(fèi)“使用自然冷源的時(shí)間超過(guò)180天，直接節(jié)約電費(fèi)數(shù)百萬(wàn)元。

在嘗到“甜頭”之后，京東云華東數(shù)據(jù)中心一期中的“小三期”中開(kāi)始實(shí)驗(yàn)間接蒸發(fā)冷卻技術(shù)，相比于冷卻水系統(tǒng)，間接蒸發(fā)冷卻技術(shù)可直接使用自然冷空氣進(jìn)行換熱，不僅節(jié)約電費(fèi)，還節(jié)約水費(fèi)，更好的成本節(jié)省。同時(shí)，相比于冷凍水系統(tǒng)復(fù)雜的管道鋪設(shè)，間接蒸發(fā)冷卻設(shè)備更符合模塊化設(shè)計(jì)理念，能夠加快數(shù)據(jù)中心的建設(shè)周期。

【作者： 曾智強(qiáng) 】

xiesc