央視新聞客戶端AI智能剪輯專題

相較于人工剪輯,AI技術(shù)的加入使得視頻產(chǎn)量實(shí)現(xiàn)幾何式增長(zhǎng),且識(shí)別準(zhǔn)確率較高,大大提高了效率,解放了人力,視頻編輯可以省出精力,專注于其他更加精細(xì)化且有編輯思路的視頻產(chǎn)品的制作上。

AI剪輯是怎樣煉成的?

AI厲害,是因?yàn)楸澈蟮某绦蛟硡柡?。這次大顯神通的AI技術(shù)并不是來(lái)自想象中的阿里、騰訊,而是一支既年輕又老道的隊(duì)伍——索貝AI團(tuán)隊(duì)。年輕是因?yàn)?在媒體領(lǐng)域,人工智能(AI)技術(shù)發(fā)展迅猛就是近兩年的事,老道則是因?yàn)?索貝是一家專注視頻技術(shù)20多年的專業(yè)視音頻技術(shù)解決方案公司,是最懂廣電應(yīng)用場(chǎng)景的。

國(guó)慶閱兵AI剪輯系統(tǒng)框架

針對(duì)新聞新媒體國(guó)慶報(bào)道AI剪輯需求,索貝以公司最新打造的媒體智能平臺(tái)——麒智AI平臺(tái)為基礎(chǔ)開發(fā)出視頻AI智能剪輯系統(tǒng),利用平臺(tái)積累的計(jì)算機(jī)視覺、音頻、自然語(yǔ)言處理算法,進(jìn)行快速定制、訓(xùn)練算法提取視音頻特征,同時(shí)結(jié)合平臺(tái)具備的大數(shù)據(jù)分析處理算法及工具,進(jìn)一步完成數(shù)據(jù)及特征分析整合,形成應(yīng)用所需的有用的信息及知識(shí),最后結(jié)合編輯場(chǎng)景所需完成最后的知識(shí)應(yīng)用,形成AI編輯生產(chǎn)力,完成之前需要大量人力投入的編輯工作。AI剪輯平臺(tái)以圖像識(shí)別技術(shù)為基礎(chǔ),結(jié)合語(yǔ)音識(shí)別等人工智能技術(shù),設(shè)計(jì)開發(fā)了隊(duì)伍方陣識(shí)別、有效鏡頭檢測(cè)、自動(dòng)合成剪輯三大類智能處理模型,通過(guò)三類模型的綜合應(yīng)用,實(shí)現(xiàn)智能剪輯功能。

麒智AI平臺(tái)基本結(jié)構(gòu)

隊(duì)伍方陣識(shí)別模型主要采用了人臉識(shí)別、動(dòng)作識(shí)別、物體識(shí)別等圖像識(shí)別方式,用于確認(rèn)各隊(duì)伍、方陣在視頻畫面中出現(xiàn)的時(shí)間位置。確認(rèn)時(shí)間位置后,通過(guò)有效鏡頭檢測(cè)模型在一定范圍內(nèi)對(duì)畫面進(jìn)行前后智能比對(duì),提取同一隊(duì)伍、方陣在各機(jī)位中的有效視頻畫面。最后使用自動(dòng)合成剪輯模型,按預(yù)先訓(xùn)練完成的編輯剪輯規(guī)則,將同一隊(duì)伍、方陣的可用畫面進(jìn)行拼接,再通過(guò)語(yǔ)音識(shí)別、圖像識(shí)別將畫面與聲音同步對(duì)齊后,自動(dòng)生成精彩視頻。

AI剪輯不僅是簡(jiǎn)單的切條,而是有“靈魂”的剪輯師,遠(yuǎn)全中近特,各種鏡頭組合技巧講究,讓觀眾覺得自然順暢。AI剪輯的特長(zhǎng)在效率,一個(gè)資深的視頻剪輯師,通常需要一個(gè)小時(shí)才能剪出幾分鐘的精彩時(shí)刻。而對(duì)于AI剪刀手來(lái)說(shuō),90秒就能出片。

國(guó)內(nèi)媒體AI技術(shù)應(yīng)用最高水平

作為廣電行業(yè)的領(lǐng)軍企業(yè),索貝一直十分重視先進(jìn)技術(shù)在媒體行業(yè)的應(yīng)用研究。在人工智能方面,索貝堅(jiān)持長(zhǎng)期的資源、資金和人力投入,專門成立了媒體智能實(shí)驗(yàn)室,并與上海交大、四川大學(xué)、鵬城實(shí)驗(yàn)室等科研單位進(jìn)行深度合作。同時(shí),索貝始終堅(jiān)持AI結(jié)合業(yè)務(wù)的研發(fā)原則。索貝媒體智能實(shí)驗(yàn)室負(fù)責(zé)人溫序銘表示:“20多年來(lái),索貝專注于視頻技術(shù),擁有深厚的技術(shù)積淀與媒體服務(wù)經(jīng)驗(yàn)。索貝堅(jiān)信AI的落地離不開具體的場(chǎng)景,離不開專業(yè)的領(lǐng)域知識(shí)。我們和中央廣播電視總臺(tái)等頂級(jí)媒體單位展開聯(lián)合研究,深入理解專業(yè)編輯知識(shí),面向媒體行業(yè)具體需求進(jìn)行針對(duì)式研發(fā)?！?/p>

在此次大規(guī)模應(yīng)用于新中國(guó)70年華誕國(guó)慶閱兵、慶典之前,索貝AI技術(shù)已經(jīng)成功應(yīng)用于中央廣播電視總臺(tái)體育CBA籃球智能剪輯。此外,索貝智能臺(tái)標(biāo)、智能多媒體稿等多個(gè)產(chǎn)品也成功應(yīng)用于多個(gè)媒體單位。本次索貝和總臺(tái)團(tuán)隊(duì)共同打造的大閱兵AI剪輯是國(guó)內(nèi)首次將人工智能技術(shù)應(yīng)用于新聞節(jié)目制作,這代表了國(guó)內(nèi)媒體AI技術(shù)應(yīng)用的最高水平,受到了用戶的廣泛好評(píng)。一場(chǎng)移動(dòng)互聯(lián)網(wǎng)時(shí)代廣播電視轉(zhuǎn)播技術(shù)的比武閱兵,索貝以AI技術(shù)亮劍,跑在了阿里、騰訊等大佬前面,首戰(zhàn)告捷!

xiesc