“你們還有什么問(wèn)題嗎？”

9月初，在百度云計(jì)算（陽(yáng)泉）中心的會(huì)議室里，百度云計(jì)算（陽(yáng)泉）中心負(fù)責(zé)人，百度系統(tǒng)部高級(jí)經(jīng)理顧鵬微笑著向媒體朋友們投過(guò)來(lái)關(guān)切但充滿(mǎn)自信的目光。

三周前，新華三在呼倫貝爾舉行“互聯(lián)網(wǎng)夏季論壇”，百度云一名管理人員在主題演講中對(duì)與會(huì)者說(shuō)，公司位于陽(yáng)泉的數(shù)據(jù)中心單模組PUE值已經(jīng)達(dá)到了1.1，引著不小的轟動(dòng)，而筆者當(dāng)時(shí)發(fā)布微信朋友圈后，朋友們也紛紛表示懷疑甚至不信任。

2014年，綠色網(wǎng)格發(fā)布的國(guó)際數(shù)據(jù)中心PUE能效值為1.7，目前國(guó)內(nèi)新建的數(shù)據(jù)中心大多為1.73，少數(shù)實(shí)現(xiàn)了1.4～1.5，而百度云計(jì)算(陽(yáng)泉)中心竟然能達(dá)到單模組1.10。

憑什么？

百度云計(jì)算(陽(yáng)泉)中心負(fù)責(zé)人，百度系統(tǒng)部高級(jí)經(jīng)理顧鵬

借由“數(shù)字中國(guó)萬(wàn)里行”這個(gè)機(jī)會(huì)，筆者也抱著嚴(yán)重不相信的的態(tài)度，走進(jìn)了這座數(shù)據(jù)中心。

眼見(jiàn)為實(shí)。在全面了解之后才發(fā)現(xiàn)，包括筆者在內(nèi)的所有人的疑惑，被徹底地打消了。

在剛剛過(guò)去的整整一個(gè)上午，顧鵬先是向這支風(fēng)塵仆仆的團(tuán)隊(duì)對(duì)位于陽(yáng)泉的這座數(shù)據(jù)中心的基本情況做了介紹，而后又花了將近4個(gè)小時(shí)陪同大家參觀了數(shù)據(jù)中心所有模組及配電、制冷等重要場(chǎng)所。

此刻，面對(duì)顧鵬探詢(xún)的目光，除了專(zhuān)家級(jí)的資深媒體同行海峰、大兔，大名鼎鼎的狒哥也保持了半分鐘的沉默。

百度云計(jì)算(陽(yáng)泉)中心坐落于山西省陽(yáng)泉市開(kāi)發(fā)區(qū)，園區(qū)占地面積360畝，由八個(gè)模組樓，一個(gè)ECC綜合樓、兩個(gè)柴發(fā)樓以及總調(diào)倉(cāng)庫(kù)、配套的餐飲樓、活動(dòng)室以及休息區(qū)等組成，整體建筑面積達(dá)到12萬(wàn)平米，共分四期建設(shè)，于2012年啟動(dòng)，設(shè)計(jì)裝機(jī)容量為12萬(wàn)臺(tái)，其設(shè)計(jì)標(biāo)準(zhǔn)采用T3+級(jí)，2014年9月第一期建成投入運(yùn)行至今已經(jīng)1500多天，今年最后一期完成后將全部投入運(yùn)營(yíng)，投用后實(shí)際裝機(jī)容量將達(dá)到16萬(wàn)臺(tái)，成為亞洲規(guī)模最大的數(shù)據(jù)中心之一。

百度云計(jì)算陽(yáng)泉中心的效果圖。其設(shè)計(jì)靈感來(lái)源于百度的logo(形似熊掌)

據(jù)介紹，陽(yáng)泉數(shù)據(jù)中心承載了百度的搜索、地圖、網(wǎng)盤(pán)、人工智能、智能云、自動(dòng)駕駛技術(shù)等業(yè)務(wù)海量數(shù)據(jù)的處理，每天處理的數(shù)據(jù)為數(shù)百PB，相當(dāng)于成千上萬(wàn)國(guó)家圖書(shū)館的容量。

2015年，陽(yáng)泉數(shù)據(jù)中心獲得了國(guó)內(nèi)首家的運(yùn)行和設(shè)計(jì)雙五A認(rèn)證、數(shù)據(jù)中心年度的能效獎(jiǎng)和中國(guó)企業(yè)領(lǐng)導(dǎo)力獎(jiǎng)；2016年獲得了山西省的五一勞動(dòng)獎(jiǎng)狀；AHU、整機(jī)柜、OCU和市電+UPS/HVDC供電架構(gòu)入選工信部的先進(jìn)技術(shù)名錄，風(fēng)電、光伏和污水回用等綠色節(jié)能技術(shù)應(yīng)用，也使百度成為了唯一一家獲得了2017年國(guó)際“碳金獎(jiǎng)-社會(huì)公民獎(jiǎng)”的互聯(lián)網(wǎng)企業(yè)。

2017年，陽(yáng)泉數(shù)據(jù)中心獲得了中華總工會(huì)“全國(guó)五一勞動(dòng)獎(jiǎng)狀”，成為目前國(guó)內(nèi)數(shù)據(jù)中心唯一獲得過(guò)此項(xiàng)大獎(jiǎng)的數(shù)據(jù)中心。

在六年的建設(shè)和運(yùn)營(yíng)中，陽(yáng)泉數(shù)據(jù)中心積累了400多項(xiàng)國(guó)際和國(guó)內(nèi)的專(zhuān)利，如采用HVDC(高壓直流) Offline與鋰電池機(jī)柜，供電效率達(dá)到99.5%；OCU、AHU、水冷精密空調(diào)等多種空調(diào)末端技術(shù)并行應(yīng)用，同時(shí)將機(jī)房送風(fēng)溫度提升到27℃，搭配百度高溫服務(wù)器，全年自然冷卻時(shí)間延長(zhǎng)到96%以上；光伏和風(fēng)力發(fā)電相結(jié)合，每年實(shí)現(xiàn)CO2減排達(dá)2.6萬(wàn)噸，污水回收利用，年節(jié)約用水48萬(wàn)噸。

數(shù)據(jù)中心主要由電氣系統(tǒng)、暖通系統(tǒng)、監(jiān)控及運(yùn)維管理系統(tǒng)組成。

在電氣架構(gòu)方面，傳統(tǒng)的數(shù)據(jù)中心多是采用雙路UPS的設(shè)計(jì)方式，其效率可以達(dá)到90%。

百度率先于2010年在國(guó)內(nèi)使用了“市電+UPS”這種當(dāng)時(shí)國(guó)內(nèi)最先進(jìn)的架構(gòu)，其效率可達(dá)到95%，而陽(yáng)泉數(shù)據(jù)中心總共采用了四種架構(gòu)，即“市電+UPS”、“市電+UPS ECO”、“市電+HVDC在線”以及“市電+HVDC離線”的形式，其中“市電+HVDC離線”是世界首例采用這種供電架構(gòu)，其供電效率由原來(lái)的雙路UPS的90%一躍提升到99.5%。

也就是說(shuō)，按傳統(tǒng)雙路UPS方式，100度電可能有10度電由UPS損耗掉了，但現(xiàn)在陽(yáng)泉數(shù)據(jù)中心做到了只有0.5度電被損耗?？梢哉f(shuō)，“市電+HVDC離線”是做到了極致。

在暖通架構(gòu)方面，在陽(yáng)泉數(shù)據(jù)中心除了采用CRAH(水冷精密空調(diào)），還采用了高溫服務(wù)器及零功耗新型空調(diào)末端，充分利用了天然的冷源，合理化應(yīng)用機(jī)械制冷、預(yù)冷和自然冷卻，全年免費(fèi)冷卻效率達(dá)到96%以上，相當(dāng)于每年用冷機(jī)制冷的時(shí)間只有兩周約300個(gè)小時(shí)。

另外，架空地板這種傳統(tǒng)的架構(gòu)在陽(yáng)泉數(shù)據(jù)中心已經(jīng)被摒棄，取而代之的是無(wú)架空地板與側(cè)送風(fēng)相結(jié)合的方式，在保證氣流組織最優(yōu)、冷量高效輸送的同時(shí)，與整機(jī)柜服務(wù)器協(xié)同，日峰值交付服務(wù)器能力達(dá)1萬(wàn)臺(tái)，交付效率提升20倍。采用百度自研的OCU(頂置冷卻單元)冷卻技術(shù)空調(diào)末端與預(yù)制化模塊技術(shù)相結(jié)合，冷卻模塊垂直安裝在機(jī)架上方，空調(diào)末端無(wú)風(fēng)扇、零功耗，利用空氣對(duì)流原理，可以抽走“熱通道”的熱空氣的同時(shí)，還可以送出冷空氣給“冷通道”；AHU(Air Handle Unit)風(fēng)墻冷卻技術(shù)，通過(guò)與高溫耐腐蝕服務(wù)器配合，采用全新氣流組織方案，解決了空氣污染及腐蝕難題；IDEC即間接風(fēng)側(cè)制冷，抽取室內(nèi)空氣和部分新風(fēng)以控制出風(fēng)溫度和風(fēng)量來(lái)維持室內(nèi)溫度。

AHU(Air Handle Unit)風(fēng)墻冷卻技術(shù)

在監(jiān)控與運(yùn)維方面，多數(shù)數(shù)據(jù)中心的運(yùn)營(yíng)都具備有一定的自動(dòng)化能力，但是陽(yáng)泉數(shù)據(jù)中心已經(jīng)在向智能化進(jìn)行轉(zhuǎn)變，比如巡檢全部采用無(wú)紙化智能巡檢，將相關(guān)數(shù)據(jù)上傳到遠(yuǎn)端電腦，專(zhuān)家系統(tǒng)通過(guò)對(duì)現(xiàn)場(chǎng)運(yùn)行數(shù)據(jù)分析來(lái)保障系統(tǒng)穩(wěn)定性將AI技術(shù)引入了數(shù)據(jù)中心后，通過(guò)建立數(shù)據(jù)中心深度學(xué)習(xí)模型，如冷水機(jī)組三種模式的運(yùn)行，將根據(jù)室外天氣的濕度、溫度和負(fù)荷，自動(dòng)完成制冷模式、預(yù)冷模式或節(jié)約模式的切換，并且根據(jù)設(shè)備的總體運(yùn)行時(shí)間提示維修或更新，智能預(yù)警可能出現(xiàn)的故障，同時(shí)根據(jù)設(shè)備的負(fù)載量自動(dòng)調(diào)配，實(shí)現(xiàn)負(fù)載均衡。

“結(jié)合AI的智能化是數(shù)據(jù)中心后續(xù)運(yùn)營(yíng)的方向，最終將實(shí)現(xiàn)無(wú)人值守?！鳖欩i說(shuō)。

節(jié)能環(huán)保在數(shù)據(jù)中心，是一個(gè)永恒的話(huà)題。陽(yáng)泉數(shù)據(jù)中心已經(jīng)將風(fēng)電、太陽(yáng)能等各種綠色能源資源的利用實(shí)現(xiàn)了最大化。

例如，陽(yáng)泉數(shù)據(jù)中心在模組樓頂?shù)氖Ｓ嗫臻g安裝了太陽(yáng)能電池板，光伏發(fā)電即發(fā)即用，成為國(guó)內(nèi)首個(gè)應(yīng)用光伏發(fā)電的數(shù)據(jù)中心。

模組樓頂剩余空間安裝的太陽(yáng)能電池板

在陽(yáng)泉數(shù)據(jù)中心，除了電源，消耗最大的就是水資源。因?yàn)闄C(jī)房熱量要靠冷塔蒸發(fā)傳遞到室外，蒸發(fā)掉大量的水份，加上要清除沉淀到冷塔和管路中水中的鈣鎂離子等各種雜質(zhì)，每天的耗水達(dá)到上千噸。陽(yáng)泉數(shù)據(jù)中心對(duì)排污水進(jìn)行了收集并通過(guò)酸堿中和，稀釋其中的鈣鎂離子，對(duì)污水再回收利用，數(shù)據(jù)中心全部設(shè)施投產(chǎn)以后，每年回收水將達(dá)到48萬(wàn)噸水的量。

在整機(jī)柜方面，陽(yáng)泉數(shù)據(jù)中心將近96%服務(wù)器采用了百度北極2.0整機(jī)柜服務(wù)器，北極2.0采用了共享電源和風(fēng)扇的架構(gòu)，供電實(shí)現(xiàn)標(biāo)準(zhǔn)化、模塊化、一體化，總成本降低15%左右，值得一提的是自研服務(wù)器平均每臺(tái)耗電量比普通的服務(wù)器下降12%，交付率反而提升了20倍。

機(jī)房全景

百度應(yīng)用GPU等異構(gòu)計(jì)算，引入深度的學(xué)習(xí)和異構(gòu)的計(jì)算集群，成為百度大腦的動(dòng)力引擎。陽(yáng)泉數(shù)據(jù)中心GPU集群承載了公司幾乎所有AI業(yè)務(wù)，融入先進(jìn)設(shè)計(jì)理念和語(yǔ)音、圖像、搜索、無(wú)人車(chē)、加速計(jì)算等一流技術(shù)，具有高性能，高效率、低功耗的特點(diǎn)，保證了AI業(yè)務(wù)長(zhǎng)期穩(wěn)定，高效運(yùn)行。

一名工作人員告訴我們，人們所知曉的PUE值1.1，那還是2016年的數(shù)據(jù)。

筆者在ECC控制中心的大屏上看到有一模組的PUE實(shí)時(shí)值是1.07。這一模組囊括了百度所有最先進(jìn)的架構(gòu)，如高壓直流，空調(diào)末端使用OCU及水冷背板。而在9月份訪談期間，室外溫度超過(guò)27度；在即將到來(lái)的11月至來(lái)年的3月期間，實(shí)時(shí)PUE還將會(huì)更低！

離開(kāi)陽(yáng)泉之前，筆者又發(fā)了一條微信：“年均PUE值為1.11，真相大白！占地12萬(wàn)平米的百度云計(jì)算(陽(yáng)泉)中心(最優(yōu)PUE1.07)。先進(jìn)的電氣架構(gòu)，用電效率超過(guò)99.5%，定制化的高溫服務(wù)器，風(fēng)電、太陽(yáng)能（首家采用）等自然能量供應(yīng)超過(guò)整體供電量的23%，模塊化的頂置空調(diào)、首家采用鋰電機(jī)柜、將AI引入數(shù)據(jù)中心……節(jié)省機(jī)房面積25%，年節(jié)電2.5億度、節(jié)水48萬(wàn)噸。真是不看不知道！”

這次，不少朋友紛紛點(diǎn)下了珍貴的“贊”。筆者相信，此文的發(fā)布，還將會(huì)贏得更多的認(rèn)同和點(diǎn)贊。

xiesc