在主論壇上,華為云文件存儲(chǔ)服務(wù)總經(jīng)理崔林威發(fā)表了“以技術(shù)創(chuàng)新,構(gòu)建綠色云上數(shù)據(jù)基礎(chǔ)設(shè)施”的主題演講。

全文如下:

大家好,我是華為云的崔林威,很高興在2021年中國(guó)數(shù)據(jù)與存儲(chǔ)峰會(huì)給大家?guī)?lái)分享,今天我?guī)?lái)的分享主題是《以技術(shù)創(chuàng)新,構(gòu)建綠色云上數(shù)據(jù)基礎(chǔ)設(shè)施》。

當(dāng)前,節(jié)能減排、碳中和關(guān)乎著人類的生死存亡,已經(jīng)成為全球達(dá)成的共識(shí)。2019年12月11日,歐盟委員會(huì)發(fā)布了《歐洲綠色新政》,提出了2050年歐洲實(shí)現(xiàn)氣侯中和,近200個(gè)國(guó)家陸續(xù)向聯(lián)合國(guó)提交了溫室氣體減排的NDC,推進(jìn)2050年全球碳中和目標(biāo),2020年9月22日,習(xí)近平總書記在第75屆聯(lián)合國(guó)大會(huì)上,也鄭重地向全球作出承諾,努力爭(zhēng)取在2060年實(shí)現(xiàn)碳中和,碳中和是一場(chǎng)能源革命,更需要科技革命和技術(shù)的轉(zhuǎn)型,需要經(jīng)濟(jì)發(fā)展模式進(jìn)行根本性的轉(zhuǎn)變和科技創(chuàng)新的支撐。

華為以全方位技術(shù)創(chuàng)新打造綠色節(jié)能的華為云

華為以全方位的技術(shù)創(chuàng)新打造綠色節(jié)能的華為云,構(gòu)建綠色基礎(chǔ)設(shè)施,存儲(chǔ)作為最典型的基礎(chǔ)設(shè)施,四個(gè)方面不斷的進(jìn)行技術(shù)創(chuàng)新,助力整個(gè)社會(huì)的節(jié)能減排,我今天就從這四個(gè)方面去講一下華為在這四方面的技術(shù)創(chuàng)新。

一,在數(shù)據(jù)中心的創(chuàng)新層面來(lái)說(shuō),我們通過(guò)AI能效調(diào)優(yōu),儲(chǔ)熱循環(huán)等技術(shù),使得風(fēng)冷數(shù)據(jù)中心的PUE達(dá)到了1.12,水冷數(shù)據(jù)中心達(dá)到了更低。

在存儲(chǔ)介質(zhì)方面,通過(guò)高密框降低了每個(gè)物理空間的能耗,同時(shí)我們現(xiàn)在采用SSD POOL技術(shù),降低了每GB的性能能耗,同時(shí)華為現(xiàn)在在做大比例EC,降低每TB存儲(chǔ)空間的能耗,總計(jì)降低能耗基本上在60%以上。

同時(shí)在方案創(chuàng)新層面不斷推動(dòng)新方案的改革,例如我們的多協(xié)議融合的數(shù)據(jù)湖、存算分離、分布式緩存等技術(shù),在提升業(yè)務(wù)處理效率的同時(shí),平均任務(wù)的耗時(shí)節(jié)能也差不多降低了30%以上。

在生態(tài)聯(lián)盟創(chuàng)新層面,華為致力于提供全球統(tǒng)一的分布式資源池,承擔(dān)上層100多個(gè)高階服務(wù),提供數(shù)據(jù)處理平臺(tái)服務(wù)的“數(shù)據(jù)工坊”,用戶可以使其在大量的通用能力進(jìn)行數(shù)據(jù)處理,而不需要各自的重復(fù)建設(shè),實(shí)現(xiàn)數(shù)據(jù)處理的共享和彈性的擴(kuò)容,節(jié)能能耗20%以上。

華為云存儲(chǔ)打造綠色數(shù)據(jù)中心

下面我從幾方面具體講一下華為云存儲(chǔ)的技術(shù)創(chuàng)新。第一個(gè),我今天要講的是我們?cè)跀?shù)據(jù)中心建設(shè)方面的一些創(chuàng)新,華為云當(dāng)年在全球27個(gè)區(qū)域建立了61個(gè)可用區(qū)域,2500+的CDN節(jié)點(diǎn),華為的數(shù)據(jù)中心全部采用AI能效調(diào)優(yōu)、功率半導(dǎo)體、儲(chǔ)熱循環(huán)的技術(shù)進(jìn)行了最大的提升能效,全球數(shù)據(jù)中心實(shí)現(xiàn)了按需供冷,提升8—15%的制冷效率,同時(shí)借助于可視化的AI運(yùn)維能力,使得數(shù)據(jù)中心運(yùn)維成本降低了35%,時(shí)延利用率提升了20%以上。

同時(shí),華為數(shù)據(jù)中心充分利用天然氣侯的優(yōu)勢(shì),進(jìn)一步降低能源的消耗,例如我們建設(shè)的南貴北烏兩大數(shù)據(jù)中心。貴安數(shù)據(jù)中心是華為目前最大的數(shù)據(jù)中心,占地總面積1500多畝,建設(shè)規(guī)模可容納100萬(wàn)臺(tái)服務(wù)器,貴安當(dāng)天的平均氣溫只有15度,我們采用自然冷卻技術(shù),全年的PUE降低到了1.12,這樣就意味著我們?cè)跐M負(fù)荷運(yùn)行情況下,預(yù)計(jì)每年可節(jié)省電力在10億度左右,碳排放量相當(dāng)于節(jié)省了81萬(wàn)噸,相當(dāng)于每年植樹(shù)3567萬(wàn)棵。

烏蘭察布數(shù)據(jù)中心定位為華為云全球最大的渲染基地和歸檔數(shù)據(jù)存儲(chǔ)基地,充分利用了當(dāng)?shù)氐淖匀粭l件,全年的平均PUE低至1.15,到冬季更是低于1.1,因?yàn)闉跆m察布風(fēng)特別大,所以在風(fēng)冷利用方面,充分的把我們的PUE降下去。另外,整個(gè)數(shù)據(jù)中心因?yàn)槭褂玫氖秋L(fēng)力發(fā)電的電力,所以都是綠色能源。

華為在存儲(chǔ)介質(zhì)方面的三大技術(shù)創(chuàng)新

我們?cè)賮?lái)看一下華為在存儲(chǔ)介質(zhì)方面的一些創(chuàng)新,主要有三大技術(shù)的創(chuàng)新。

第一我們是使用了超大容量的高密框;第二做了SSD POOL技術(shù);第三,我們?cè)诟愦蟊壤腅C技術(shù)。

超大容量的高密框的容量,相比原來(lái)的普通數(shù)據(jù)框,容量提升了2倍以上,功耗卻提升了接近10%,每U物理空間能耗差不多節(jié)省了16%以上,現(xiàn)在我們使用的SSD POOL技術(shù),性能相比原來(lái)的HDD POOL性能提升了5倍以上,同時(shí)空間占比節(jié)省了50%,每GB的性能能耗降低了84%,華為當(dāng)前的EC技術(shù),已經(jīng)達(dá)到了20+3,相比原來(lái)的三副本技術(shù),容量的利用率顯著的得到提升,每TB的存儲(chǔ)空間能耗降低到原來(lái)的30%左右。

華為云分享最新案例助力節(jié)能減排

接下來(lái),我講一下華為云技術(shù)發(fā)展的創(chuàng)新,今天我們重點(diǎn)講三個(gè)方案的技術(shù)創(chuàng)新。第一個(gè),華為云首創(chuàng)了文件服務(wù)的兼容對(duì)象接口,不僅能夠簡(jiǎn)化客戶上云的過(guò)程,數(shù)據(jù)處理的結(jié)果也可以直接通過(guò)對(duì)象接口進(jìn)行下載和分發(fā),從而避免了傳統(tǒng)云上文件處理的時(shí)候,需要先上傳數(shù)據(jù)到對(duì)象存儲(chǔ),然后再?gòu)膶?duì)象存儲(chǔ)拷貝到文件存儲(chǔ),文件存儲(chǔ)處理完以后,拷貝回對(duì)象存儲(chǔ),然后再進(jìn)行分發(fā)。

現(xiàn)在我們實(shí)現(xiàn)了多協(xié)議湖通道,大大節(jié)省了整個(gè)過(guò)程的時(shí)間,更減少了整個(gè)過(guò)程的數(shù)據(jù)冗余。

今年我們?cè)诿⒐鸗V熱播的綜藝節(jié)目“乘風(fēng)破浪的姐姐第二季”,是業(yè)界首個(gè)基于華為云打造的4K綜藝節(jié)目。她們的視頻通過(guò)影視基地和外景的拍攝,直接通過(guò)我們的對(duì)象存儲(chǔ),直接上傳到華為云上,在云上通過(guò)文件接口進(jìn)行轉(zhuǎn)碼、合成、調(diào)色、渲染等一系列的處理以后,直接分發(fā)到對(duì)應(yīng)的播放平臺(tái),就可以直接實(shí)現(xiàn)播放了,整個(gè)過(guò)程是免數(shù)據(jù)拷貝的,使得整個(gè)節(jié)目制作時(shí)長(zhǎng)節(jié)省了50%以上的,其實(shí)云上的資源是按需付費(fèi),相比于原來(lái)芒果TV自建的IT系統(tǒng)節(jié)省了90%的初始投資。

更重要的,整個(gè)節(jié)目制作過(guò)程,因?yàn)槎际窃谠粕希瑪?shù)據(jù)資源都是隨時(shí)彈縮容的,整個(gè)節(jié)目制作過(guò)程能源消耗相比芒果自己自建的數(shù)據(jù)中心,大概減少了21.5萬(wàn)噸的碳排放量。

今天介紹的第二個(gè)解決方案,就是華為最著名的Big Data Pro大數(shù)據(jù)解決方案。它以高效的多樣性算力為底座,支持彈性云服務(wù)器、裸金屬、云容器部署方式,圍繞以O(shè)BS為存儲(chǔ)的數(shù)據(jù)湖,計(jì)算和存儲(chǔ)實(shí)現(xiàn)分離,利用高速云網(wǎng)絡(luò)連接計(jì)算和存儲(chǔ),打造全新的云上大數(shù)據(jù)解決方案。因?yàn)橛?jì)算和存儲(chǔ)資源都是可以彈性的、靈活的擴(kuò)收容的,存算分離的方案使計(jì)算資源和存儲(chǔ)資源利用率都得到很大提升,計(jì)算資源我們像在美圖,基本上計(jì)算資源的利用率提升了75%以上,存儲(chǔ)資源利用率提升了140%以上,美圖基于華為的存算分離大數(shù)據(jù)解決方案,相比于原來(lái)的大數(shù)據(jù)分析平臺(tái),資源利用率提升了21%,運(yùn)營(yíng)成本也大大降低了30%以上。

今天我要講的第三個(gè)解決方案,是我們基于SFS Turbo緩存渲染解決方案,它實(shí)現(xiàn)了云上云下NAS存儲(chǔ)側(cè)聯(lián)動(dòng),云上自動(dòng)緩存數(shù)據(jù)熱點(diǎn),提供最大20GB,百萬(wàn)IOPS極致性能,助力MOREVFX(墨境天合)制作,渲染任務(wù)無(wú)感知的彈性到了我們的公有云上。

同時(shí)SFS Turbo文件服務(wù)提供標(biāo)準(zhǔn)的NFS和CIFS協(xié)議,實(shí)現(xiàn)了開(kāi)箱即用,數(shù)據(jù)隨計(jì)算自動(dòng)流傳上云,客戶云上云下體驗(yàn)完全一致,無(wú)需對(duì)其程序做任何改造。和傳統(tǒng)的渲染解決方式相比,云上的SFS Turbo文件存儲(chǔ)解決方案,它是按需使用的,隨時(shí)可以釋放,避免了企業(yè)針對(duì)高峰用電的時(shí)候,要自己多建基礎(chǔ)設(shè)施,這樣就可以大大節(jié)省成本,相比傳統(tǒng)的自建模式,整個(gè)TCO下降了50%以上,性能提升了30%以上,縮短了排隊(duì)和渲染的時(shí)間,從而極大的減少了能源的消耗。

像墨境天合預(yù)計(jì)碳排,今年我們算了一下,大概它的碳排放量預(yù)計(jì)減少了差不多53噸。

今天我最后要講一下華為在合作生態(tài)上的創(chuàng)新,我們一直致力于打造豐富的數(shù)據(jù)生態(tài),當(dāng)前,存儲(chǔ)服務(wù)作為華為云的基礎(chǔ)服務(wù),承載了一百多個(gè)高階服務(wù),如大數(shù)據(jù)、數(shù)據(jù)庫(kù)、AI等,存儲(chǔ)著海量的運(yùn)維數(shù)據(jù),支撐了數(shù)萬(wàn)家的企業(yè)業(yè)務(wù),同時(shí)我們還在與眾多伙伴一起打造數(shù)據(jù)處理生態(tài),基于華為云第三方的數(shù)據(jù)處理能力,構(gòu)建數(shù)據(jù)平臺(tái)服務(wù),我們現(xiàn)在數(shù)據(jù)平臺(tái)服務(wù)叫做“數(shù)據(jù)工坊”,未來(lái)五年我們的“數(shù)據(jù)工坊”預(yù)計(jì)會(huì)提供一千+的數(shù)據(jù)處理算子給用戶使用。

例如我們現(xiàn)在正在與“數(shù)美科技”等行業(yè)領(lǐng)先的伙伴,聯(lián)合打造我們的內(nèi)容合規(guī)審核、自動(dòng)駕駛預(yù)標(biāo)注、視頻轉(zhuǎn)碼、圖片轉(zhuǎn)碼、災(zāi)害識(shí)別等算子,用戶可以使用數(shù)據(jù)工坊上大量通用的能力進(jìn)行數(shù)據(jù)的處理,從而不需要重復(fù)建設(shè)。

數(shù)據(jù)處理是AI共享的彈性,快速滿足客戶需要,可進(jìn)一步實(shí)現(xiàn)整個(gè)低碳節(jié)能的目標(biāo)。

今天我主要說(shuō)的是,華為云存儲(chǔ)一直致力于持續(xù)創(chuàng)新,構(gòu)建一個(gè)綠色的數(shù)據(jù)管道,是大家可以值得信賴的合作伙伴,謝謝!我今天的演講就到這。

分享到

崔歡歡

相關(guān)推薦