別幸災(zāi)樂禍。根據(jù)中哥對(duì)大淺友們的了解,你等技術(shù)宅大概率也是獨(dú)自一人在床上拿手機(jī)看的比賽。
拿手機(jī)看的人只分成三種:
1、用央視 App 看;
2、用優(yōu)酷看;
3、用咪咕視頻看。
因?yàn)閾?jù)我所知,央視把版權(quán)買來之后,只分銷給了優(yōu)酷和咪咕。
作為一個(gè)嚴(yán)謹(jǐn)?shù)娜?,世界杯一開賽,我就下載了三家的 App 作對(duì)比。最終我選擇了央視主推的“CCTV5” App。(據(jù)說這個(gè) App 從開賽前的路人甲,到后來直線躥升到各大應(yīng)用商場(chǎng)的前幾位。)
經(jīng)過體驗(yàn),最終選擇它的理由有三個(gè):
1、“CCTV5” 會(huì)比其他 App 快幾十秒,這樣就不至于隔壁看球的都開始?xì)g呼了,我這邊半天才看到這個(gè)進(jìn)球。
2、雖然三個(gè) App 都不卡頓,但是“CCTV5” 清晰度莫名感覺更好一點(diǎn)。
3、細(xì)節(jié)做得好。比如看球過程中需要回個(gè)微信,再切換回來之后,一秒不到,視頻就出現(xiàn)了。
講真,作為一個(gè)技術(shù)流的中哥,這次世界杯,我對(duì)央視的技術(shù)能力刮宮相看。
就在決賽前兩天,我和騰訊云的盆友聊天,說到世界杯,他輕描淡寫地說:“這次央視 App 的網(wǎng)絡(luò)視頻轉(zhuǎn)播,用的是我們的人工智能技術(shù)啊~”
我大吃一驚:“納尼?用的是你們的技術(shù)?還是人工智能?你們?cè)趺醋C明,有發(fā)票嗎?你能把這里面用到的技術(shù),說上三樣五樣來,我就相信是你們給央視提供的技術(shù)?!?/p>
于是,我就被“押送”到李海琦和盧林兩位大牛面前,被強(qiáng)勢(shì)科普了一波騰訊云幫央視轉(zhuǎn)播世界杯的“黑科技”。(李海琦是騰訊云高級(jí)產(chǎn)品經(jīng)理,盧林是騰訊云技術(shù)專家)
下面中哥就給你們嘮嘮。
一、“無碼”的世界杯
每次看完一場(chǎng)比賽,我滿腦子都是:旅游之前,為什么要上 Boss 直聘?
之所以廣告要這么玩命轟炸,不就是因?yàn)榭辞虻娜硕嗝?。盧林給我一個(gè)數(shù)據(jù):在有精彩比賽的晚上,世界杯的流量會(huì)占到全國(guó)流量的 20-30%。
這里涉及到一個(gè)知識(shí)點(diǎn):無論是視頻 App 還是球迷,都希望看球的時(shí)候盡量“少占帶寬”。
有兩個(gè)原因:
1、對(duì)于 視頻 App 來說,是很心疼的。
你想想,一邊球是免費(fèi)給大家看的,但另一邊把視頻推給球迷的流量費(fèi)用要交給網(wǎng)絡(luò)運(yùn)營(yíng)商的,一分錢也不能少掏。 這種推流的費(fèi)用單價(jià)不高,但總量大啊。打個(gè)比方,就像全國(guó)球迷分別打開水龍頭放90分鐘水,每個(gè)人平均費(fèi)用不多,總水費(fèi)加起來肯定是個(gè)天文數(shù)字。
2、對(duì)于球迷來說,是很蛋疼的。
至于看球的人,反正自己都是包月的帶寬,不會(huì)因?yàn)榭辞蝾~外花錢。但是,如果視頻占用帶寬太大,就會(huì)慢的一比,卡得蛋疼。想想看,苦苦堅(jiān)持 89 分鐘,就在最后一分鐘卡了,結(jié)果錯(cuò)過絕殺進(jìn)球,你是不是想掰手機(jī)?
所以,騰訊云就是央視請(qǐng)來的逗比,要幫央視的世界杯視頻流“省帶寬”。央視的要求有兩個(gè):
1、降低碼率(降低單位時(shí)間內(nèi)傳輸?shù)臄?shù)據(jù),從而省帶寬);
2、別降清晰度。
我給你翻譯一下,這兩句的意思是:“既要馬兒快點(diǎn)跑,還要馬兒不吃草?!?/strong>不,這么說不太準(zhǔn)確,更準(zhǔn)確的說法是:馬兒跑得速度可以不變,但是要少吃草。這簡(jiǎn)直是周扒皮啊有木有。
騰訊云接受了這個(gè)任務(wù),趕緊回家翻箱倒柜,看看有神馬黑科技可以幫助央視老哥。
結(jié)果還果真讓他們找到了。
二、“騷操作”來了
說到這,中哥先扯兩句歷史。
早年間,阿里通過收購優(yōu)酷、百度通過收購愛奇藝拿下視頻市場(chǎng),但騰訊是生了一個(gè)不怕任何親子鑒定的親兒子:騰訊視頻。最近的《創(chuàng)造101》有多火,你是親眼見過的。
我的意思是,從比較早的時(shí)候開始,騰訊在視頻這一行就有積累和口碑,所以,在后來的騰訊云上才有了如此多的視頻客戶。
騰訊云上各類有視頻業(yè)務(wù)的客戶,當(dāng)然也面臨帶寬太貴想省流量的問題。所以從幾年前,騰訊工程師們就憋著各種心思想做編碼優(yōu)化。但受限于技術(shù)發(fā)展,前幾年整個(gè)行業(yè)都主要是通過一些死板的算法來實(shí)現(xiàn)。這就有很大的問題:
如果原畫面鏡頭固定,色彩豐富,那么歲月靜好,但如果畫面一抖動(dòng),這種算法馬上就蒙圈。要么就模糊、要么就出現(xiàn)鋸齒,要么就有失真噪點(diǎn)。
一遇到特殊情況,就各種亂套
死板的算法雖然不夠好,但確實(shí)能省一筆帶寬費(fèi)啊。于是各路視頻企業(yè),也都在“湊合著用”。
不過,隨著最近人工智能的發(fā)展,騰訊云發(fā)現(xiàn)了一片新大陸。這次給央視用到的,就是最新研發(fā)的“壓箱底”黑科技。這種技術(shù)被他們稱為“極速高清技術(shù)”。
乍一聽起來,這個(gè)“極速高清技術(shù)”有一種濃濃的街邊貼膜既視感,不過當(dāng)我聽完李海琦的介紹以后,不禁露出了贊許的圍笑。這居然是一個(gè)超叼的“人工智能系統(tǒng)”,它的關(guān)鍵技術(shù)都是由背后的“大腦”來支持的。
“極速高清技術(shù)”這種騷操作的具體原理是什么呢?簡(jiǎn)單來說分三步:
第一步、你要先知道自己轉(zhuǎn)播的是個(gè)啥場(chǎng)景。
你可能會(huì)說,轉(zhuǎn)播的是個(gè)啥場(chǎng)景,這還用說嗎?足球??!
我指的不是這個(gè)場(chǎng)景,而是在一場(chǎng)足球比賽里,現(xiàn)在的鏡頭具體是遠(yuǎn)景、中景還是近景;畫面里展示的是賽場(chǎng)還是觀眾還是場(chǎng)外教練;畫面的內(nèi)容是球員跑動(dòng)還是頭球爭(zhēng)頂還是起腳射門。
這樣分下來,光是場(chǎng)景就恨不得有幾十種。這樣的場(chǎng)景分類工作無聊又機(jī)械,不過它卻是人工智能的強(qiáng)項(xiàng)。只要給 AI 看幾百場(chǎng)球賽,它分分鐘就能掌握這種操作。
第二步、針對(duì)這個(gè)場(chǎng)景做優(yōu)化處理。
判斷出當(dāng)前鏡頭屬于哪一類之后,接下來就是對(duì)這個(gè)鏡頭進(jìn)行精確地優(yōu)化。高能預(yù)警,接下來就要說到這里面的黑科技了。
舉兩個(gè)例子:
1)先給你說個(gè)“殘差補(bǔ)償”
視頻是由一幀一幀的靜態(tài)圖片組成的。在同一個(gè)鏡頭里,上一幀的圖像和下一幀圖像也許有90%的地方都是相同的。
隨便翻出一部教學(xué)電影,淺友們找找不同~
足球賽也是一樣,如果是一個(gè)全景鏡頭,每一幀之間,也許只有球員移動(dòng)了位置,而草坪的位置肯定不會(huì)變化。
這個(gè)變化了的地方就叫“殘差”,而一段鏡頭里,最有信息量的就是“殘差”部分。如果只統(tǒng)計(jì)“殘差”部分的數(shù)據(jù),并不會(huì)占很大的存儲(chǔ)空間。就像你看球時(shí)吃的小龍蝦,看起來很大,但大多東西都是沒用的,關(guān)鍵部位只有蝦尾那三分之一處。。。
這種情況就給視頻編碼提供了壓縮的空間:
首先,人工智能像玩“大家來找茬”的游戲似的,找出兩幀之間的不同之處。
然后,在每一幀的編碼里,只需要標(biāo)記出和上一幀的“殘差”就 OK 啦。
2)再給你講個(gè)“區(qū)域畫質(zhì)增強(qiáng)”
由于視頻傳輸,一定會(huì)經(jīng)過壓縮。只要有“壓縮”這兩個(gè)字,就一定有畫面損失。
損失不要緊,我們有辦法補(bǔ)救啊。
如果是一個(gè)全景鏡頭里,球迷最關(guān)心的肯定是跑動(dòng)的球員。所以,系統(tǒng)只要對(duì)這些球員的位置進(jìn)行特殊的“銳化”“色階補(bǔ)償”,就會(huì)大大提升觀眾的觀感。這大概就像把球員單獨(dú)拎出來,給他們每個(gè)人都做一下“美圖秀秀”,至于背景嘛,就不用特別在意了。
如果是一個(gè)射門的中景鏡頭,那么觀眾可能不僅會(huì)注意球員的動(dòng)作,還會(huì)注意球飛行的弧線,會(huì)注意球門的位置。那么,在這種鏡頭里,就要對(duì)所有觀眾關(guān)心的東西都做加強(qiáng)。
當(dāng)然,在各種優(yōu)化的方式里,還有去塊、降幀、反交錯(cuò)、視頻降噪等等技術(shù),限于篇幅我就不展開說了。
第三步、整裝粗發(fā)
經(jīng)過剛剛那些優(yōu)化處理,不同場(chǎng)景的畫面,已經(jīng)被用不同的編碼參數(shù)進(jìn)行了編碼,他們就像不同顏色、不同款式、不同大小的服裝,被統(tǒng)一打包裝進(jìn)了集裝箱,然后從 CCAV 的港口出發(fā),漂洋過海向用戶的手機(jī)開進(jìn)。
為了解釋清楚這些技術(shù),我剛才細(xì)致地寫了一千多字,但是在現(xiàn)實(shí)中時(shí)間可不等人:從人工智能判斷這個(gè)鏡頭是什么類型,到用不同的套路為它做好優(yōu)化,到分別編碼統(tǒng)一整裝待發(fā),整個(gè)過程不超過 0.1 秒。
從用戶的角度看,整個(gè)球賽比原始信號(hào)推遲了 0.1秒,是幾乎感受不到的。
技術(shù)宅盧林打了一個(gè)有趣的比喻:
這種技術(shù)就像是老師幫學(xué)生批改作文,學(xué)生每寫一句,你當(dāng)時(shí)就要做出批改。如果等到他全寫完了再批改,比賽就結(jié)束了,黃花菜就涼涼了。這就要求你這個(gè)系統(tǒng)有對(duì)未來的預(yù)測(cè)能力,學(xué)生作文剛寫了開頭,你就能知道它未來的脈絡(luò)。這種預(yù)測(cè)能力,就是靠人工智能算法實(shí)現(xiàn)的。
這位就是技術(shù)宅,盧林
這是李海琦
三、看看“療效”
吹了這么多屌炸天的牛,實(shí)際療效怎么樣呢?
李海琦給我看了兩段對(duì)比視頻,我截圖給你體會(huì)一下:
不知道你是不是能看出來,左邊是經(jīng)過處理的,右邊是沒有經(jīng)過處理的。目測(cè)稍微有些區(qū)別。
我相信一定有人會(huì)說,我就覺得右邊的畫質(zhì)更好,你咬我啊。
沒錯(cuò),這是因?yàn)椋瑢?duì)一個(gè)視頻的觀感,人們是見仁見智的。難道央視自己說好,就是真的好嗎?有沒有一個(gè)公正的裁判呢?
說到這里我得給你介紹一位新朋友:?VMAF。
VMAF 是一個(gè)用來判斷視頻質(zhì)量的神器。它是美國(guó)視頻公司 Netflix 開發(fā)出來的一個(gè)工具,基本的原理是:它用很多視頻專家的經(jīng)驗(yàn)訓(xùn)練出了一套系統(tǒng),你只要把視頻導(dǎo)入進(jìn)去,系統(tǒng)就能自動(dòng)為它的觀感來個(gè)“權(quán)威打分”。
李海琦說,在1080P 和 3M 帶寬的情況下,經(jīng)過“極速高清技術(shù)”處理的視頻,VMAF值可以從80多分到達(dá)90多分,提高 10分(滿分100)。
如果視頻 App 說,這多出來的10分我不要了,你給我省點(diǎn)帶寬吧。(央視就是這么跟騰訊云說的)那么就可以通過“極速高清系統(tǒng)”在保證視頻觀感不變的情況下降低碼率。降低多少呢?根據(jù)李海琦的說法,大概可以降低30%。這就意味著,視頻 App 可以比處理之前節(jié)省30%的帶寬費(fèi)用。
視頻處理前,大概是10Mbps。
視頻處理后,大概是6Mbps。
當(dāng)然,對(duì)于美食主播、顏值主播等等相對(duì)沒那么鬧騰的視頻,可以節(jié)省最多 70% 的帶寬。
李海琦給了我這張圖片,是兩種視頻技術(shù)在轉(zhuǎn)播同一場(chǎng)足球賽時(shí)進(jìn)行對(duì)比的數(shù)據(jù)。
紅色的是央視和騰訊云技術(shù)的碼率,比綠色的要小一些。
這個(gè)數(shù)據(jù)可以從兩個(gè)角度看:
1)作為用戶,如果你的網(wǎng)速很慢,那么央視的 App 比其他 App 卡頓的幾率更低。
2)作為播出平臺(tái),央視通過網(wǎng)絡(luò)直播付出的帶寬費(fèi),平均到每個(gè)球迷身上,應(yīng)該更便宜。
四、他們?yōu)橹冻龅呐?/strong>
沒想到看個(gè)球,背后有這么多麻煩事兒。
其實(shí)剛才我只給你講了這套技術(shù)的原理,技術(shù)之外還有挺多有趣的八卦。
大概在世界杯以前一個(gè)月,央視經(jīng)過競(jìng)標(biāo),決定了要采用騰訊云的直播技術(shù)。但是,有個(gè)小要求:“你們的機(jī)房有點(diǎn)遠(yuǎn),我們喜歡眼見為實(shí),你懂的。。?!?/p>
于是,一個(gè)搭載了“極速高清”系統(tǒng)的服務(wù)器就直接被搬進(jìn)了央視大樓。
盧林親手把設(shè)備安裝調(diào)試完畢,然后拍拍手說:撒由那拉。央視的老師一把拽住他,親切地說:別走,一起看球。如果系統(tǒng)出了問題,我們就把你燉了。
于是,整整一個(gè)月,盧林晚上都瑟瑟發(fā)抖地在央視大樓和技術(shù)老師一起看球。
話說,這套系統(tǒng)在搬進(jìn)央視以前,已經(jīng)經(jīng)受了一些考驗(yàn):
2018年4月,騰訊云用這套系統(tǒng)幫助龍珠直播優(yōu)化了中超的比賽轉(zhuǎn)播,這是系統(tǒng)第一次在實(shí)戰(zhàn)環(huán)境中工作,效果還不錯(cuò)。
于是4月底,騰訊云又接了個(gè)大活兒,轉(zhuǎn)播英超。結(jié)果系統(tǒng)上線以后,發(fā)現(xiàn)之前訓(xùn)練出來的人工智能技術(shù)沒有那么好用了,攻城獅們研究了好久才發(fā)現(xiàn),原來是英超比賽的節(jié)奏比中超快多了。在人工智眼里,這幾乎就是兩種東西。。。還好經(jīng)過調(diào)整,很快“極速高清系統(tǒng)”就適應(yīng)了英超的快節(jié)奏。
有了這么多經(jīng)驗(yàn)墊底,轉(zhuǎn)播世界杯應(yīng)該是成竹在胸了。
然而,天有不測(cè)風(fēng)云。
四分之一決賽,烏拉圭對(duì)法國(guó)那場(chǎng)比賽,正踢得好好的,突然騰訊云支持的網(wǎng)絡(luò)轉(zhuǎn)播畫面黑屏、綠屏。。。
盧林冷汗直流,眼看央視的技術(shù)老師就要生火架鍋了。他突然發(fā)現(xiàn),不僅央視自己的信號(hào)花了,其他 App 的信號(hào)也花了。這才恍然大悟,原來是傳來的衛(wèi)星信號(hào)本身出了問題。這只是虛驚一場(chǎng)。
現(xiàn)在,世界杯結(jié)束了。目測(cè)盧林仍然生龍活虎。
他們干得不錯(cuò)。
李海琦說,這套直播的模型是通用的,并不是單獨(dú)為世界杯準(zhǔn)備的。
最開始它是用來滿足游戲直播的,后來被擴(kuò)展到了足球轉(zhuǎn)播上。目測(cè)龍珠直播的負(fù)責(zé)人也會(huì)把這套系統(tǒng)推廣到母公司 PPTV 上。我們也會(huì)把這種技術(shù)推廣到更多的直播場(chǎng)景,也許包括 F1,包括 NBA。
也許以后,你看到的更多比賽,都是“極速高清技術(shù)”支持的。
過去的一個(gè)月,每次我夜里兩點(diǎn)端著手機(jī),都感覺有點(diǎn)孤獨(dú)?,F(xiàn)在回想起來,在網(wǎng)絡(luò)那頭都有盧林這幫兄弟陪著我,我并不是一個(gè)人在看球。想到這些,我也沒有那么羨慕土豪朋友了。
文:史中 ?來源:淺黑科技