（英偉達(dá)開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬（左）和火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅（右））

視頻化正在向各行業(yè)滲透，從內(nèi)容行業(yè)、泛娛樂拓展至泛互聯(lián)網(wǎng)和大量傳統(tǒng)行業(yè)。作為視頻化部署的“底座”，多媒體處理框架越發(fā)重要，但目前主流的視頻處理框架雖具備沉淀多年的技術(shù)能力，卻無法完全應(yīng)對需求多元、業(yè)務(wù)融合以及快速創(chuàng)新等復(fù)雜挑戰(zhàn)。對企業(yè)而言，自建視頻應(yīng)用對技術(shù)積累和資金成本要求較高。行業(yè)迫切需要更加強(qiáng)大的視頻處理框架，幫助用戶實(shí)現(xiàn)優(yōu)勢互補(bǔ)、協(xié)同工作、快速落地。

因此，火山引擎基于抖音大規(guī)模實(shí)踐和打磨，專為超視頻時(shí)代打造下一代多媒體處理框架BMF，從應(yīng)用層、框架層、模塊層和異構(gòu)層這四個(gè)層面，幫助用戶快速構(gòu)建視頻化能力，驅(qū)動業(yè)務(wù)增長。

首先在應(yīng)用層，可以支持視頻內(nèi)容從生產(chǎn)到消費(fèi)的全鏈路視頻場景，包括大量視頻AI應(yīng)用場景。

其次在框架層，包括框架對 Graph / Pipeline 的調(diào)度、跨數(shù)據(jù)類型跨設(shè)備的數(shù)據(jù)流轉(zhuǎn) Ackend、以及常用的跨設(shè)備 reformat、color space conversion、tensor 算子等 SDK ；并自研“自驅(qū)調(diào)度”和“動態(tài)Graph”引擎，適配不同場景的多種執(zhí)行模式。

再次在模塊層，在框架設(shè)計(jì)之初即采用了“松耦合”設(shè)計(jì)，包含了具備各種原子能力的模塊，提供多種語言的模塊開發(fā)機(jī)制，用戶可根據(jù)自身需要將算法/處理實(shí)現(xiàn)為 Python、Go、C++ 語言的任意一種；目前，已積累超過140個(gè)適用于視頻場景的原子能力模塊。

最后在異構(gòu)層，負(fù)責(zé)提供高效的視頻處理算力，包括ASIC算力，能夠?qū)Χ喾N主流框架數(shù)據(jù)實(shí)現(xiàn)無縫轉(zhuǎn)換，使多種主流框架數(shù)據(jù)互轉(zhuǎn)和協(xié)同工作變得更加順暢和便捷。

字節(jié)跳動視頻架構(gòu)負(fù)責(zé)人、火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅介紹，火山引擎與NVIDIA緊密合作，針對GPU相關(guān)的框架層能力、處理能力進(jìn)行了深度優(yōu)化，使其能夠發(fā)揮更強(qiáng)大的并行計(jì)算能力。

NVIDIA 英偉達(dá)開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬表示，“未來，我們會與火山引擎保持合作，聽取社區(qū)及用戶的意見，在 NVIDIA 最新的軟硬件平臺上進(jìn)行迭代，繼續(xù)完善 BMF 框架。”

目前，火山引擎多媒體框架BMF已經(jīng)實(shí)現(xiàn)全面開源并上線GitHub，其中BMF框架層整體開源，提供9個(gè)開箱即用案例和20+API調(diào)用范例。此外，BMF已正式開放試用招募，希望攜手更多開發(fā)者一起共建視頻應(yīng)用生態(tài)。

songjy