但大模型強大的生成能力也是一把雙刃劍，其表現(xiàn)在一些場景下并不穩(wěn)定，容易生成偽影或者虛假紋理等；以Stable Diffusion為代表的視覺大模型本身大多是基于圖片或者單幀的算法，在視頻這種多幀序列的場景下也存在效果和穩(wěn)定性的問題。

針對老舊電影修復(fù)的特殊場景，火山引擎多媒體實驗室對視覺大模型做了三個層面的算法優(yōu)化：在圖像生成方面，通過控制模型的邊界條件、強化高質(zhì)量生成空間等手段，顯著提升大模型的圖像輸出質(zhì)量；在視頻場景里，通過采用設(shè)計時域的自編碼器、光流特征對齊、時域條件約束等技術(shù)手段，讓大模型在修復(fù)的過程中可以使用前后幀的信息，更好地處理視頻任務(wù)；同時，火山引擎還攜手Intel在算法和工程上進(jìn)行了多項優(yōu)化，能顯著提升大模型在4K場景下的處理效率并兼顧算力成本。

算法助力經(jīng)典文化傳承

據(jù)王悅介紹，對火山引擎多媒體實驗室的工程師來說，老港片修復(fù)最大的挑戰(zhàn)不是算法技術(shù)，而是如何保留影片原有的藝術(shù)風(fēng)格。

“在很多影片的修復(fù)中，中國電影資料館都想方設(shè)法邀請當(dāng)年的主創(chuàng)走入修復(fù)實驗室”，中國電影資料館副館長張小光表示，此次4K修復(fù)《武狀元蘇乞兒》，就得到了導(dǎo)演陳嘉上的藝術(shù)指導(dǎo)。

在這一過程中，火山引擎和中國電影資料館進(jìn)行了多輪溝通和討論，經(jīng)過不斷的測試和反復(fù)的調(diào)優(yōu)，才達(dá)到算法服務(wù)于藝術(shù)的理想效果。以色偏和色彩的處理為例，此前的AI算法能夠完成和優(yōu)化一系列客觀上色彩的問題，但對于部分藝術(shù)色彩上的還原容易產(chǎn)生偏差，火山引擎此次摸索了一種AI加速藝術(shù)修復(fù)的方案，能通過學(xué)習(xí)人工修復(fù)片段的數(shù)據(jù)獲得更理想的色彩方案效果，從而加速修復(fù)進(jìn)程。

“我們在不斷思考，怎么讓過去的老片煥發(fā)新生?！蓖鯋偙硎?，“利用大模型算法進(jìn)一步提升老片的修復(fù)質(zhì)量，無論是從技術(shù)實踐還是從文化傳承的角度來看，都是一次有意義的嘗試?！?/p>

抖音副總裁陳都燁介紹，未來一年，《喋血雙雄》《阿郎的故事》等100部香港電影的4K修復(fù)版，也將陸續(xù)在抖音、西瓜視頻上線。

這100部香港電影制作時間集中在上世紀(jì)70年代到90年代，涵蓋陳嘉上、徐克、成龍、關(guān)錦鵬、周星馳等多位導(dǎo)演作品。中國電影資料館的電影策展人沙丹表示，這個時段正是香港電影的黃金時代。彼時內(nèi)地正逐漸走向開放，香港電影成為很多內(nèi)地青年了解世界的窗口。

受限于早期拍攝的設(shè)備技術(shù)以及膠片存放使用過程中造成的損傷，記憶中的老港片雖然情節(jié)鮮活，畫面卻模糊、昏暗、不清晰。對于習(xí)慣了高清視頻的觀眾來說，重溫經(jīng)典的觀影體驗并不友好。

“我們希望通過技術(shù)手段讓現(xiàn)在的年輕人也能喜歡上過去的經(jīng)典，老的觀眾可以重溫曾經(jīng)的回憶，形成幾代人的共同記憶?！蓖鯋傉f。

xiesc