創(chuàng)新求變的華數(shù)
在互聯(lián)網(wǎng)強勢的沖擊下,華數(shù)也在思考自己作為管道運營商角色的價值。于是,在“互聯(lián)網(wǎng)+”上升到國家戰(zhàn)略背景下,2016年,華數(shù)提出了新網(wǎng)絡+應用、新媒體+內(nèi)容、大數(shù)據(jù)+開發(fā)三大戰(zhàn)略,以“產(chǎn)業(yè)+資本”雙輪驅(qū)動,正在構建以新網(wǎng)絡、新媒體、云計算、大數(shù)據(jù)、原創(chuàng)內(nèi)容以及智慧化等產(chǎn)業(yè)板塊為重點發(fā)展方向的公司。
華數(shù)傳媒網(wǎng)絡有限公司(簡稱華數(shù))是一家大型國有文化傳媒產(chǎn)業(yè)集團的控股子公司,位居中國新媒體產(chǎn)業(yè)發(fā)展第一方陣。如今的華數(shù)正走在技術創(chuàng)新的道路上,在IT基礎設施方面也有很大投入,是廣電行業(yè)中第一家落地SDN項目的公司,同時在OpenStack,Container,k8s等新技術上均有很多實踐,并在全新的英特爾Optane(傲騰)上進行大膽嘗試,認真評估,最終在成本、性能等方面取得了不錯的收益。
華數(shù)傳媒平臺運維總監(jiān)張琴介紹說,華數(shù)擁有齊全的廣電行業(yè)牌照,業(yè)務包括傳統(tǒng)有線電視,手機電視以及互聯(lián)網(wǎng)電視三屏業(yè)務,另外還有寬帶網(wǎng)絡業(yè)務,覆蓋海量傳統(tǒng)媒體和新媒體用戶,其中互聯(lián)網(wǎng)電視用戶有1億、手機端產(chǎn)品用戶有5600萬、數(shù)字電視用戶有3000萬。另外,華數(shù)有自己的內(nèi)容庫,許多朋友熟悉的天貓盒子,其實就是華數(shù)的內(nèi)容和技術服務輸出。
華數(shù)一直堅持以技術創(chuàng)新來驅(qū)動產(chǎn)品創(chuàng)新、服務創(chuàng)新。張琴介紹說,華數(shù)非常支持技術創(chuàng)新,比如華數(shù)的技術部門每年都有一些專項的預研的項目,去做一些新技術的預研,評估,如果可行就會很快付諸實踐。公司高層所秉承的技術創(chuàng)新才能驅(qū)動產(chǎn)品創(chuàng)新和服務創(chuàng)新的理念從2001年成立以來一直沒變過。
廣電行業(yè)的大數(shù)據(jù)應用場景與瓶頸
華數(shù)的平臺上有龐大的用戶群體,有海量的數(shù)據(jù),這為大數(shù)據(jù)戰(zhàn)略的發(fā)展奠定了堅實基礎,而張琴所在的團隊負責技術設施建設和數(shù)據(jù)挖掘,數(shù)據(jù)在越來越多的多場景中展現(xiàn)出了價值,廣電行業(yè)的大數(shù)據(jù)有哪些應用場景?又有哪些產(chǎn)品方案呢?
首先能想的到的智能推薦系統(tǒng)。張琴的團隊對華數(shù)傳媒平臺的數(shù)據(jù)做了收集、整理、挖掘分析,分析用戶的喜好,向各種平臺用戶提供智能的內(nèi)容推薦服務,提高用戶對內(nèi)容的點播率。另外,根據(jù)用戶在電視購物時的繳費喜好作分析,也能促進電視購物業(yè)務發(fā)展。
收視數(shù)據(jù)的實時分析。華數(shù)的收視羅盤能實時看到點播數(shù)據(jù),看到用戶的點播喜好,還能檢測到平臺上比如浙江衛(wèi)視一些節(jié)目的收視率,每當有關注度較高的體育賽事時,點播的情況在收視羅盤都看的一清二楚。
久而久之,結合重大賽事等關注度高的節(jié)目,對收視情況做出一些預測的準確性會越來越高,系統(tǒng)維護保障部門也會做一些有針對性的維護操作,防止出現(xiàn)因資源準備不足造成的直播故障。
華數(shù)傳媒平臺上的數(shù)據(jù)非常多,除了幾十PB的媒體資源外,還要存儲PB級的脫敏冷數(shù)據(jù),將其存放在對象存儲平臺上,還有許多熱數(shù)據(jù)用了SATA SSD,大容量數(shù)據(jù)用的是傳統(tǒng)磁盤,華數(shù)傳媒平臺上的數(shù)據(jù)架構還是很復雜的。
隨著業(yè)務規(guī)模的擴張,數(shù)據(jù)技術承載了越來越重要的任務,數(shù)據(jù)處理的規(guī)模也越來越大,張琴的團隊不得不尋找有競爭力的數(shù)據(jù)挖掘解決方案。
華數(shù)傳媒平臺運維部基礎平臺部經(jīng)理胡川表示,在做大數(shù)據(jù)處理時內(nèi)存成了最大瓶頸,一些應用比如數(shù)據(jù)庫操作對內(nèi)存I/O或者磁盤的I/O要求是很高,目前只有傲騰 (Optane)才能滿足我們的需求。
傲騰帶來了什么?
2017年,華數(shù)從實際測試中開始了解傲騰技術,伴隨著英特爾CPU的Tick-tock節(jié)奏,新一代CPU正式供貨后,華數(shù)的傲騰也開始落地應用,一次廣電行業(yè)的前沿實踐也開始了。
2018年8月開始,幾十片傲騰陸續(xù)部署在了位于杭州市濱江區(qū)白馬湖華數(shù)數(shù)字產(chǎn)業(yè)園的12臺服務器上,為400臺云主機提供總計10TB的內(nèi)存。
服務器的內(nèi)存由原來的DRAM加上Optane(傲騰) SSD構成,在英特爾內(nèi)存驅(qū)動技術(Intel Memory Drive Technology)的幫助下,Optane SSD與DRAM打通成為內(nèi)存子系統(tǒng),從操作系統(tǒng)的角度看起來,跟以往的DRAM沒什么區(qū)別,而且,這一方案突破了原有的系統(tǒng)所能承載內(nèi)存的上限,在華數(shù)的服務器中,一臺主機上最高能配上704G內(nèi)存,而以前使用DRAM內(nèi)存最多能裝配512GB內(nèi)存,可用內(nèi)存容量提升了37.5%。
華數(shù)傳媒平臺運維部基礎平臺部經(jīng)理胡川補充說,英特爾默認的方案中DRAM和Optane的容量比為1:8,而在實測中他發(fā)現(xiàn),性能非常好,于是試著將配比改成Optane容量最高的模式,結果性能表現(xiàn)還是超出了預期,于是就干脆就把內(nèi)存配比調(diào)成了容量最大的模式。
Before vs. After
如上圖可見,Skylake架構的Gold 6148(20核)比Boradwell架構的E5 V4(14核)的核心多了6個,增加了43%,新的CPU性能必然會有所提升,能提升多少呢?
談到這次改造,華數(shù)傳媒平臺運維部基礎平臺部經(jīng)理胡川激動地表示,用了傲騰的方案后,明年就不需要大規(guī)模的擴張了!經(jīng)過實際測試發(fā)現(xiàn),原來,傲騰(Optane)配合英特爾新一代Skylake CPU,整機性能提升了97%,單臺設備的服務能力幾乎翻了一倍,一臺服務器相當于過去的兩臺服務器,更大內(nèi)存,更高性能意味著能支持更多的虛擬機資源,原定的擴充計劃也就不需要了。
非常不可思議的是性能表現(xiàn)。胡川還表示,在新方案下,原以為云主機的性能會有所下降,結果內(nèi)存性能反而更高了。實際應用中,內(nèi)存性能提升了百分之十幾,可能在用戶端就表現(xiàn)為,點播一個視頻的等待時間能降低10%。在phoronix-test-suite benchmark ramspeed測試中,平均性能表現(xiàn)為20872.63MB/s,而之前僅為13298.05MB/s。
最后,我們來看成本問題。新服務器在增加可用內(nèi)存、提升性能的同時,還降低了成本,算下來,新服務器整體價格僅比舊服務器高10%左右,算下來因為性能提升和內(nèi)存的擴增減少的硬件投入成本,整體方案成本降低了大約44%,算下來能節(jié)省幾十萬、上百萬的資金投入。
在華數(shù)采用傲騰方案的過程前后,得到了來自英特爾的技術支持,與許多有強大開發(fā)團隊的互聯(lián)網(wǎng)公司不同,華數(shù)使用傲騰過程中對應用本身沒有做什么改動,對華數(shù)來說,成本并不高,對華數(shù)的技術團隊來說,壓力也不大。
傲騰,廣電行業(yè)降本增效的利器
在許多人看來,傲騰作為英特爾主打的存儲創(chuàng)新方案,感覺成本會比較高,而從華數(shù)的實踐來看,傲騰竟成了華數(shù)降本增效的利器。
胡川表示,最早用傲騰第一個出發(fā)點就是成本,在經(jīng)歷了內(nèi)存價格不可思議的瘋漲后,它找到了內(nèi)存的替代方案,在使用的過程中漸漸了解了傲騰的更多特性。
在與英特爾技術團隊的溝通中,也看到了更多創(chuàng)新的存儲方案,比如高密度的Ruler大容量存儲,比如持久內(nèi)存技術等等,在數(shù)據(jù)中心基礎設施的創(chuàng)新方面華數(shù)保持著非常開放的態(tài)度,而張琴的團隊通過不斷探索,最終讓系統(tǒng)在提高效率的同時降低運行成本,進而提升競爭力。
在張琴看來,傲騰帶來的降本增效的能力,對于華數(shù)三大戰(zhàn)略的實施有重大意義。對于略顯保守的廣電行業(yè)來說,華數(shù)的創(chuàng)新實踐值得借鑒和參考。
參考資料:
http://www.sohu.com/a/242283656_505744
5分鐘看廣電行業(yè)現(xiàn)狀:2018傳媒產(chǎn)業(yè)發(fā)展報告要點。