本文從極速高清的工作原理，通過深度學(xué)習(xí)對(duì)世界杯場(chǎng)景的優(yōu)化，針對(duì)央視需求與其他技術(shù)PK最后勝出，最后部署上線運(yùn)營(yíng)為時(shí)間線，記錄并總結(jié)騰訊云極速高清是如何完成對(duì)本次央視網(wǎng)世界杯直播的支撐。

一、騰訊云極速高清到底是個(gè)什么鬼?

普通轉(zhuǎn)碼主要存在的質(zhì)量問題有：轉(zhuǎn)碼失真、低分辨率模糊、鏡頭抖動(dòng)、噪聲大、低碼率鋸齒塊等。

1、視頻場(chǎng)景智能分類：我們首先通過深度學(xué)習(xí)的方法，形成包含游戲，體育，秀場(chǎng)，戶外，動(dòng)漫，美食，影視劇等在內(nèi)的十幾個(gè)主流大類及幾十個(gè)小類場(chǎng)景模型庫(kù)。極速高清服務(wù)開始期間，對(duì)實(shí)時(shí)直播流進(jìn)行檢測(cè)分析，并匹配對(duì)應(yīng)場(chǎng)景模型。匹配率方面，較明顯的場(chǎng)景如游戲，足球，籃球，動(dòng)漫等，CNN網(wǎng)絡(luò)模型匹配準(zhǔn)確率達(dá)98%以上;電視劇，戶外運(yùn)動(dòng)，美食，旅游等畫面特征分散，幀間運(yùn)動(dòng)變化較大的場(chǎng)景，CNN+RNN+LSTM做時(shí)域及空間域的分析，準(zhǔn)確率在85%以上。

2、編碼參數(shù)匹配：根據(jù)第一步場(chǎng)景分類實(shí)時(shí)識(shí)別結(jié)果，結(jié)合視頻源碼率、幀率、分辨率、紋理和運(yùn)動(dòng)變化幅度等情況，以及綜合機(jī)器負(fù)載和畫質(zhì)效果等維度，選擇最優(yōu)編碼參數(shù)。

3、前置處理：根據(jù)不同場(chǎng)景分類、客戶對(duì)視頻畫質(zhì)的不同要求，以及結(jié)合視頻源畫面紋理和實(shí)時(shí)運(yùn)動(dòng)檢測(cè)結(jié)果進(jìn)行銳化、軟模糊、反交錯(cuò)、去塊、降噪、色階補(bǔ)償、降幀等前置處理。

4、編碼動(dòng)態(tài)優(yōu)化：騰訊云-極速高清服務(wù)針對(duì)不同視頻類別，同一個(gè)視頻內(nèi)不同視頻段，應(yīng)用完全不一樣的編碼參數(shù)，其中包括但不限于：IBP幀類型、量化參數(shù)QP、分辨率等;且支持編碼參數(shù)按幀實(shí)時(shí)更新生效。

5、碼率智能控制：由于不管是標(biāo)準(zhǔn)H.264/JVT-G012 碼率控制算法還是x264的碼率控制算法在運(yùn)動(dòng)變化切換比較明顯的場(chǎng)景下，預(yù)編一次得到率失真理論凸曲線都是盡可能接近最優(yōu)失真曲線，對(duì)于運(yùn)動(dòng)場(chǎng)景實(shí)時(shí)檢測(cè)切換比較明顯的場(chǎng)景幀我們?cè)趚264碼率控制的基礎(chǔ)上會(huì)綜合幀時(shí)序信息做一些補(bǔ)償因子和畫質(zhì)控制，使得主觀觀看得分VMAF值會(huì)有3-5分以上的提高。

6.detail reduce：針對(duì)h264視頻編碼格式，我們?cè)O(shè)計(jì)了一種在視頻殘差的頻域上消除噪聲的算法。該算法結(jié)合了當(dāng)前編碼宏塊的殘差大小，宏塊的QP值，歷史的頻域值等，并根據(jù)不同場(chǎng)景選擇匹配的video denoise模板，自適應(yīng)地進(jìn)行宏塊級(jí)的視頻處理，能夠以極低的CPU消耗對(duì)噪聲宏塊進(jìn)行優(yōu)化，同時(shí)保留清晰宏塊的完整性。

7.ROI處理：SIFT+差分圖像+運(yùn)動(dòng)目標(biāo)圖像檢測(cè)或用戶指定(如臺(tái)標(biāo)、水印)關(guān)注ROI區(qū)域，對(duì)該區(qū)域的宏塊編碼進(jìn)行強(qiáng)化(放大/縮小量化步長(zhǎng))、銳化、色階補(bǔ)償?shù)忍幚恚缪胍暰W(wǎng)世界杯就要求對(duì)臺(tái)標(biāo)和字幕區(qū)域畫質(zhì)和亮度增強(qiáng)。

騰訊云-視頻云主要通過以上模塊協(xié)作處理在云端開啟騰訊云極速高清服務(wù)。

二、500場(chǎng)模擬，百場(chǎng)實(shí)踐-針對(duì)世界杯比賽場(chǎng)景深度學(xué)習(xí)

今年春節(jié)后，騰訊云極速高清服務(wù)開始陸續(xù)接入一些頭部游戲直播平臺(tái)，且得到客戶認(rèn)可。但針對(duì)體育賽事(特別是足球賽事)的客戶我們一直沒有接觸到。世界杯前我們針對(duì)足球賽事場(chǎng)景做一次系統(tǒng)化的機(jī)器學(xué)習(xí)以及視覺效果優(yōu)化評(píng)估，以便為即將到來(lái)的世界杯做最好的準(zhǔn)備。

1、機(jī)器學(xué)習(xí)和視覺調(diào)整：網(wǎng)絡(luò)爬蟲足球比賽視頻超過500場(chǎng)。針對(duì)每場(chǎng)比賽視頻在：高速運(yùn)動(dòng)場(chǎng)景，足球跟隨模型訓(xùn)練，長(zhǎng)遠(yuǎn)鏡頭優(yōu)化，精彩回放ROI區(qū)域增強(qiáng)，觀眾表情捕捉等細(xì)節(jié)做一些視覺效果分析以及優(yōu)化效果評(píng)估，以便打造世界杯最優(yōu)動(dòng)態(tài)編碼模型。

2、中超試水：雖然我們一直在自己優(yōu)化足球賽事的動(dòng)態(tài)編碼模型，但一直缺少真實(shí)的落地用戶，此時(shí)內(nèi)心還是有些忐忑的。大約4月中旬的時(shí)候，我們向龍珠直播的中超比賽主動(dòng)推廣了極速高清服務(wù)，并針對(duì)中超的一些比賽逐步增加了極速高清服務(wù)，雖然開始的時(shí)候出現(xiàn)過一些問題，但后來(lái)逐步優(yōu)化后，效果可以滿足客戶需求。

3、英超切量：經(jīng)過前期在龍珠中超比賽中的實(shí)踐，我們大體心里基本有底。后期開始主動(dòng)尋找一些體育賽事客戶。新英體育作為英超在大陸的版權(quán)方，在英超比賽方面基本一家獨(dú)大(而且英超的比賽節(jié)奏要遠(yuǎn)遠(yuǎn)快于中超，這一點(diǎn)跟世界杯的場(chǎng)景會(huì)更加匹配)。我們借助架構(gòu)師及商務(wù)對(duì)新英體育進(jìn)行了極速高清服務(wù)的推廣，在多輪的測(cè)試及優(yōu)化下，最后客戶驗(yàn)證通過。

　　三、開賽前，看不見的PK

央視作為整個(gè)視頻云行業(yè)都極其看重的客戶，是各云廠商的必爭(zhēng)之地。此次世界杯前，央視決定在世界杯期間引入提升比賽清晰度的新技術(shù)后，各云服務(wù)廠商都提供了自己的解決方案。經(jīng)過幾輪測(cè)試，央視網(wǎng)最終決定在騰訊云和某云廠商之間選擇一家，由于世界杯已經(jīng)臨近，對(duì)于我們來(lái)說(shuō)是極大的考驗(yàn)。在與對(duì)手的PK過程中，我們?cè)诖a率控制、去模糊、去塊、反交錯(cuò)、運(yùn)動(dòng)搜索和分塊決策等模塊共進(jìn)行了幾十次服務(wù)升級(jí)和優(yōu)化，經(jīng)過與一輪又一輪的PK，央視網(wǎng)最終選擇了騰訊云。

　四、眾志成城，一周完成央視網(wǎng)極速高清服務(wù)私有化部署

雖然在技術(shù)指標(biāo)側(cè)我們贏了，但由于世界杯的特殊性及緊迫性，且客戶暫時(shí)沒有相匹配的服務(wù)器等硬件資源。所以該需求就變成了：“自帶機(jī)器私有化部署”。其實(shí)前期我們與客戶溝通的過程中，“私有化部署”一事我們是清楚的，也在著手準(zhǔn)備著。但此時(shí)時(shí)間確實(shí)緊迫，面對(duì)“服務(wù)器自帶”，“交換器自帶”，“運(yùn)維人員自備”等等需求，留給團(tuán)隊(duì)準(zhǔn)備的時(shí)間著實(shí)太少。但我們絕不想功虧一簣，況且服務(wù)好本次世界杯的高清直播，對(duì)用戶，對(duì)客戶，對(duì)騰訊來(lái)說(shuō)都是極其重要的一件事。經(jīng)過緊急協(xié)商，我們拿出了新的私有化方案。

升級(jí)后私有化部署方案：

目標(biāo)：在央視網(wǎng)搭一整套騰訊云極速高清轉(zhuǎn)碼集群，支持央視網(wǎng)世界杯期間CCTV5頻道直播，RTMP/FLV推拉源流，轉(zhuǎn)碼處理后支持央視RTMP/FLV/HLS拉流。

機(jī)器部署： 客戶機(jī)房只有機(jī)架資源，考慮如果讓客戶準(zhǔn)備機(jī)器相關(guān)硬件資源，集團(tuán)走采購(gòu)申請(qǐng)周期太長(zhǎng)，若按常規(guī)流程，來(lái)不及服務(wù)此次世界杯。所以轉(zhuǎn)碼機(jī)器我們從公司外借10臺(tái)M10，其它相關(guān)輔助設(shè)備如：交換機(jī)、光模塊、光纖、網(wǎng)線等相關(guān)同學(xué)通力協(xié)作，分頭采購(gòu)。進(jìn)行服務(wù)器等硬件部署時(shí)，開發(fā)及架構(gòu)師同學(xué)親自布線，擰螺絲。(這才是真正的全棧工程師)

五、開場(chǎng)哨響，我們比球員緊張

最終，在世界杯開賽前我們兼容了客戶硬件設(shè)備以及軟件代碼模塊的各種適配要求。接下來(lái)就是實(shí)戰(zhàn)的考驗(yàn)了。第一天比賽開始前，大家心里都還很緊張，之前一切的努力如果在直播開始后出現(xiàn)問題，那都將付之一炬。開賽后，我們緊張的盯著屏幕：各項(xiàng)服務(wù)指標(biāo)一切正常，出流效果超出預(yù)期，播出效果對(duì)比其他平臺(tái)優(yōu)勢(shì)明顯。第一天的比賽后，我們也從客戶那里獲得了極高的評(píng)價(jià)，外部用戶的反饋也讓我們心里的石頭落了地。但是，比賽才剛剛開始，為期一個(gè)月的世界杯，我們也會(huì)在看不見的地方繼續(xù)戰(zhàn)斗!

另附幾張現(xiàn)場(chǎng)圖：

本文作者：騰訊云高級(jí)產(chǎn)品經(jīng)理李海琦

songjy