從整體上看,京東云華東數(shù)據(jù)中心建設(shè)于2015年,總投資35億,一期投資15億,二期計(jì)劃投資8至10億,現(xiàn)已投入6億,整個(gè)園區(qū)占地200畝左右,相當(dāng)于19個(gè)足球場(chǎng)大小,是京東云骨干網(wǎng)絡(luò)節(jié)點(diǎn)核心數(shù)據(jù)中心之一。
我們知道,數(shù)據(jù)中心的設(shè)計(jì)當(dāng)中,選址時(shí)就必須考慮到能耗和成本的問題。所以,京東云華東數(shù)據(jù)中心選址在了宿遷湖濱新區(qū)的駱馬湖畔,氣候上全年平均氣溫14度,自然條件有利于數(shù)據(jù)中心節(jié)能減排。同時(shí),區(qū)內(nèi)地表水系十分發(fā)達(dá),河渠縱橫,有京杭大運(yùn)河穿境而過,北倚駱馬湖,南臨洪澤湖,水務(wù)資源極其豐富,為數(shù)據(jù)中心提供了充足的水源保障。
而從電力保障方面,宿遷處于西電東輸和年發(fā)電量140億度的田灣核電站的高壓走廊,能源及電力供應(yīng)充足,具有高質(zhì)量的輸電網(wǎng)絡(luò)和充裕的供電能力。這是基于這些區(qū)位優(yōu)勢(shì),和電力以及成本優(yōu)勢(shì)。很顯然,京東云華東數(shù)據(jù)中心從建設(shè)之初,就已經(jīng)向著超級(jí)云數(shù)據(jù)中心的方向在規(guī)劃和布局了。
從目前,建設(shè)的情況看,京東云華東數(shù)據(jù)中心整體由4個(gè)規(guī)模相當(dāng)?shù)脑茢?shù)據(jù)中心模塊和1棟綜合大樓組成。
在現(xiàn)場(chǎng),我們發(fā)現(xiàn)這四個(gè)云數(shù)據(jù)中心模塊,均由層高7.5米的單層建筑組成。這樣設(shè)計(jì)的好處在于:服務(wù)器和機(jī)柜等設(shè)備不受電梯限制,可直接推入機(jī)房,安裝部署效率更高。同時(shí),數(shù)據(jù)中心機(jī)房采用地板下送風(fēng)設(shè)計(jì),承重仍可達(dá)到每平方米1噸,無需考慮擴(kuò)容后的樓板和支撐加固問題。
單個(gè)數(shù)據(jù)中心模塊的建立面積為6萬多平米,總機(jī)柜數(shù)1138個(gè),分別布置在10個(gè)模塊機(jī)房?jī)?nèi),4個(gè)標(biāo)準(zhǔn)模(4KW)、3個(gè)高密模塊(8KW)2個(gè)網(wǎng)絡(luò)傳輸間,和1個(gè)微模塊(12W)機(jī)房,總能存放約4萬5千多臺(tái)標(biāo)準(zhǔn)服務(wù)器。關(guān)鍵在于,每個(gè)數(shù)據(jù)中心模塊內(nèi)部由這些小模塊組合而成,并且可根據(jù)使用需求靈活布置、調(diào)整模塊內(nèi)容。
據(jù)介紹,1號(hào)模塊于2016年年初投產(chǎn)運(yùn)營(yíng),現(xiàn)有業(yè)務(wù)包括京東云,京東商城,京東數(shù)科及宿遷市政府、中國(guó)聯(lián)通、中國(guó)電信等。其他模塊也將在近期陸續(xù)投入運(yùn)營(yíng)。
從可靠到節(jié)能的細(xì)節(jié)思考
數(shù)據(jù)中心承載著客戶最核心的價(jià)值數(shù)據(jù),所以數(shù)據(jù)中心的安全和可靠的運(yùn)行,也一直是對(duì)數(shù)據(jù)中心最核心的要求。
第一,電力保障方面,京東云華東數(shù)據(jù)中心設(shè)計(jì)了三重保證。
首先,京東云自建了純雙路110KV專用變電站。雙路的好處是,當(dāng)其中一路檢修或發(fā)生故障時(shí),另一路完全滿足園區(qū)內(nèi)所有設(shè)備的正常用電需求,形成了電力供應(yīng)上的基本保障。
其次是雙路UPS,其中兩個(gè)生產(chǎn)機(jī)房和兩個(gè)網(wǎng)絡(luò)機(jī)房電子的供電模式為2N,其余六個(gè)生產(chǎn)機(jī)房的供電模式則為N+1。單臺(tái)UPS后備蓄電池支撐時(shí)間均不小于15分鐘。
最后是N+1柴油發(fā)電系統(tǒng)。京東云為每棟?rùn)C(jī)房樓配置2200KW發(fā)電機(jī)組作為后備電源,具備連續(xù)滿載12小時(shí)的運(yùn)行能力。具體說來,共8臺(tái)柴油發(fā)電機(jī),分布于兩個(gè)房間,N+1配置,45秒啟動(dòng),90秒到末端負(fù)載。
舉個(gè)例子,當(dāng)一路市電電源故障時(shí),110KV變電站內(nèi)10KV母線聯(lián)絡(luò)開關(guān)動(dòng)作,故障回路負(fù)荷均由另一回路承擔(dān);當(dāng)兩路市電電源均發(fā)生故障時(shí),機(jī)房模塊內(nèi)負(fù)荷由UPS蓄電池供電,同時(shí)備用柴油發(fā)電機(jī)組啟動(dòng),向機(jī)房模塊、空調(diào)冷源、照明等負(fù)荷供電,由此構(gòu)成三重供電保障。
第二,在綠色節(jié)能方面,對(duì)于數(shù)據(jù)中心來說,日常成本中的60%來自于電費(fèi),所以如何建設(shè)綠色節(jié)能的數(shù)據(jù)中心,是第一大挑戰(zhàn)。
之所以選址宿遷,其實(shí)也有節(jié)能方面的思考。宿遷可利用的室外自然冷源的條件比較充足。為了充分利用冬季室外天然冷源進(jìn)行自然冷卻,冷凍水系統(tǒng)設(shè)置了板式換熱器,與冷水機(jī)組并聯(lián)。京東云還增加了一套自主設(shè)計(jì)的氣候環(huán)境采集控制系統(tǒng),完全實(shí)現(xiàn)了制冷系統(tǒng)根據(jù)室內(nèi)外環(huán)境溫度、濕度、系統(tǒng)負(fù)荷大小、平滑連續(xù)的調(diào)節(jié)各組件運(yùn)行狀態(tài),始終保持系統(tǒng)在最佳的效率區(qū)間。而且全年可以”免費(fèi)“使用自然冷源的時(shí)間高達(dá)180天以上,直接節(jié)約電費(fèi)數(shù)百萬元以上,做到最大程度上的節(jié)電。
京東云華東數(shù)據(jù)中心一直將綠色環(huán)保的理念貫穿于整個(gè)生命周期,最大PUE<1.4,環(huán)保措施遠(yuǎn)遠(yuǎn)高于傳統(tǒng)機(jī)房,能效達(dá)到國(guó)內(nèi)一流水平。
第三,數(shù)據(jù)中心發(fā)展趨勢(shì)正呈現(xiàn)運(yùn)維服務(wù)對(duì)于任何一個(gè)數(shù)據(jù)中心運(yùn)營(yíng)來說都是一個(gè)復(fù)雜而又艱巨的工作,而京東云華東數(shù)據(jù)中心提供了全天候、全數(shù)字化的監(jiān)控,確保了數(shù)據(jù)中心的100%無憂運(yùn)維,讓業(yè)務(wù)永遠(yuǎn)在線。在京東每年618這樣的流量洪峰當(dāng)中,京東云數(shù)據(jù)中心都成為了業(yè)務(wù)永續(xù)背后的“無名英雄”。
第四,算力是衡量一個(gè)數(shù)據(jù)中心絕對(duì)競(jìng)爭(zhēng)力的關(guān)鍵指標(biāo),京東云已經(jīng)將數(shù)據(jù)中心的產(chǎn)品架構(gòu)整體進(jìn)行了迭代更新。硬件方面開發(fā)了多樣性的產(chǎn)品創(chuàng)新,比如新一代云主機(jī)、云物理機(jī)、GPU云主機(jī)、GPU云物理機(jī)、云硬盤、原生容器、高可用組等等。因?yàn)檫@些技術(shù)基礎(chǔ),京東云面對(duì)突發(fā)流量實(shí)現(xiàn)了秒級(jí)擴(kuò)容,平穩(wěn)、安全地度過了數(shù)次訂單洪峰。
據(jù)我了解,目前京東云也在與INTEL微軟數(shù)據(jù)中心技術(shù)進(jìn)行廣泛的產(chǎn)品創(chuàng)新。例如在計(jì)算方面:圍繞INTEL的CPU進(jìn)行定制化,自研JD的整機(jī)柜服務(wù)器開發(fā),以及JD業(yè)務(wù)線上CPU性能聯(lián)合進(jìn)行分析優(yōu)化;在存儲(chǔ)方面:圍繞INTEL SSD技術(shù)的研究與合作,高性能存儲(chǔ)方案場(chǎng)景挖掘和低成本存儲(chǔ)方案在JD的應(yīng)用場(chǎng)景挖掘;在AI方面:圍繞Intel Nervana GPU和CPU VNNI加速方案的場(chǎng)景化挖掘和DCM技術(shù)的智能IDC運(yùn)維技術(shù)研究合作;在網(wǎng)絡(luò)方面:圍繞JD&INTEL智能網(wǎng)卡聯(lián)合開發(fā)與合作,針對(duì)RDMA、Adq以及DPDK等性能優(yōu)化方案的場(chǎng)景挖掘。
總體而言,京東云華東數(shù)據(jù)中心為我們展現(xiàn)了一個(gè)超級(jí)云數(shù)據(jù)中心應(yīng)該有的樣子,作為京東電商業(yè)務(wù)的內(nèi)部支撐,和政務(wù)云等行業(yè)應(yīng)用的數(shù)字底座,京東云也證明了超級(jí)云必有超級(jí)云數(shù)據(jù)中心的意義。
為什么超級(jí)云必有超級(jí)云數(shù)據(jù)中心
我們知道,數(shù)據(jù)中心是云計(jì)算、AI時(shí)代的硬核,有了數(shù)據(jù)中心的支撐,互聯(lián)網(wǎng)、云計(jì)算才得以高速發(fā)展,冰冷的數(shù)據(jù)中心如同高鐵之于國(guó)計(jì)民生,作為云和人工智能的底座,承載著這些新技術(shù)與行業(yè)創(chuàng)新相結(jié)合的使命。
首先,一個(gè)有全局化視野的云服務(wù)商,當(dāng)然需要一個(gè)全局化的數(shù)據(jù)中心布局。目前,除宿遷數(shù)據(jù)中心外,全國(guó)范圍內(nèi),京東云公有云目前已完成4區(qū)域 、10可用區(qū)(華北北京、華東上海、華東宿遷、華南廣州)的整體布局,另有數(shù)十個(gè)遍布全國(guó)的IDC設(shè)施。未來,京東云將積極擴(kuò)展布局自建數(shù)據(jù)中心,滿足合作伙伴數(shù)據(jù)中心轉(zhuǎn)型等多維度需求。
其次,作為一個(gè)超級(jí)云服務(wù)商,京東云盡管開放的要晚一些,但從數(shù)據(jù)中心的維度來看,無論是服務(wù)器的規(guī)模上,節(jié)能環(huán)保的技術(shù)領(lǐng)先,還是未來的全局規(guī)劃至少不輸于其他云服務(wù)商。
第三,京東云華東數(shù)據(jù)中心通過宿遷政務(wù)云的項(xiàng)目,形成了很好的行業(yè)積累。憑借宿遷市大數(shù)據(jù)中心,京東云還榮獲了“可信云十大用戶獎(jiǎng)”,通過工信部“政務(wù)云綜合水平評(píng)估”(先進(jìn)級(jí))和“可信政務(wù)云評(píng)估”。并入選IDC測(cè)評(píng)全國(guó)6大政務(wù)云典型案例、信通院《中國(guó)政務(wù)云發(fā)展白皮書》優(yōu)秀案例,可信云全國(guó)十佳政務(wù)云、工信部全國(guó)百家大數(shù)據(jù)優(yōu)秀案例等等。
可見,以京東云數(shù)據(jù)中心的技術(shù)能力為基礎(chǔ),京東云已經(jīng)形成了完整向各行各業(yè)輸出數(shù)字化技術(shù)的能力集。
第四,數(shù)字經(jīng)濟(jì)本身會(huì)有一種“溢出”效應(yīng),而數(shù)據(jù)中心作為科技創(chuàng)新和技術(shù)應(yīng)用的實(shí)體,已成為各行各業(yè)信息化發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施,為數(shù)字經(jīng)濟(jì)發(fā)展提供了有力支撐。以數(shù)據(jù)中心為原點(diǎn),也會(huì)形成產(chǎn)業(yè)生態(tài)的升級(jí)。
例如,宿遷就借助京東影響力和生態(tài)資源,吸引大批上下游企業(yè)以及同類企業(yè)入駐宿遷,形成電子商務(wù)產(chǎn)業(yè)集群,做到了本地化的產(chǎn)業(yè)升級(jí),推動(dòng)了向數(shù)字經(jīng)濟(jì)轉(zhuǎn)型。當(dāng)越來越多的行業(yè)客戶通過京東云數(shù)據(jù)中心提供的平臺(tái)服務(wù)、基礎(chǔ)產(chǎn)品和干線平臺(tái),走向數(shù)字化轉(zhuǎn)型。京東云也證明了,為什么超級(jí)云背后必有超級(jí)云數(shù)據(jù)中心的意義。
【文/鄭凱】