為了在硬件和軟件上持續(xù)保持領(lǐng)先， CDD 與業(yè)內(nèi)領(lǐng)先企業(yè)頻繁交流，不斷改進(jìn)自研軟件以提升虛擬拍攝影棚的制作體驗(yàn)。

客戶挑戰(zhàn)

在虛擬影棚中，LED 立面屏幕被分割為多個(gè)顯示區(qū)域，每個(gè)顯示區(qū)域由不同的工作站驅(qū)動(dòng)，其呈現(xiàn)的內(nèi)容則由其搭載的 GPU 渲染完成。

在實(shí)時(shí)拍攝過(guò)程中，需要 LED 光照、實(shí)時(shí)攝像機(jī)追蹤和實(shí)時(shí)渲染投屏三者的結(jié)合，實(shí)現(xiàn)前臺(tái)演員和虛擬背景之間的完美整合。這種拍攝方案消除了對(duì)綠幕合成的需求，讓攝像機(jī)直接拍攝最終成像。

而所有需要在大型 LED 立面屏幕上顯示實(shí)時(shí)渲染內(nèi)容的行業(yè)都面臨著一個(gè)普遍挑戰(zhàn)，即每個(gè)渲染節(jié)點(diǎn)其實(shí)是一個(gè)獨(dú)立運(yùn)行工作站，在實(shí)際拍攝制片過(guò)程中，不僅需要消耗大量的計(jì)算資源用于渲染高分辨率高幀率的高品質(zhì)實(shí)時(shí)內(nèi)容，還需要同步所有渲染節(jié)點(diǎn)間的技術(shù)參數(shù)，同時(shí)推進(jìn)所有顯示媒介的呈現(xiàn)內(nèi)容。目前鮮有人在這一領(lǐng)域取得突破，原因可以歸納為以下幾個(gè)方面：

每臺(tái)工作站需要獨(dú)立渲染特定顯示區(qū)域的內(nèi)容，在保證高標(biāo)準(zhǔn)畫(huà)面渲染細(xì)節(jié)的同時(shí)還需要維持面板刷新一致，對(duì) GPU 性能提出了極高要求。

節(jié)點(diǎn)間存在通訊障礙，普通同步方式不能保證所有節(jié)點(diǎn)的幀同步，一旦出現(xiàn)不同步就會(huì)造成畫(huà)面撕裂影響觀看體驗(yàn)。

節(jié)點(diǎn)間參數(shù)同步和數(shù)據(jù)傳輸占用了大量的網(wǎng)絡(luò)帶寬和 CPU 資源，進(jìn)一步造成節(jié)點(diǎn)間時(shí)間同步的不可預(yù)測(cè)。

由于上述瓶頸導(dǎo)致渲染平臺(tái)整體無(wú)法進(jìn)一步提升成片的幀率和分辨率，無(wú)法進(jìn)一步滿足人們對(duì)于高幀率渲染實(shí)時(shí)內(nèi)容的需求。

應(yīng)用方案

客戶的超大分辨率渲染平臺(tái)通過(guò)集成 NVIDIA Rivermax 整體方案，解決了這些難題。完成集成后的系統(tǒng)架構(gòu)如下圖所示：

圖 1. 系統(tǒng)架構(gòu)圖

新的平臺(tái)由 NVIDIA RTX A6000 承擔(dān)分布式實(shí)時(shí)渲染任務(wù)。RTX A6000 擁有 48GB 顯存，可以將拍攝場(chǎng)景需要的模型和紋理數(shù)據(jù)全部加載到顯存中，在拍攝過(guò)程中按需調(diào)用。渲染節(jié)點(diǎn)支持多 GPU 進(jìn)行視口渲染，此模式支持創(chuàng)作者指定一個(gè) GPU 渲染特定視口，并通過(guò) NVLink 將渲染結(jié)果直接復(fù)制到另一個(gè) GPU 上顯示輸出。而多個(gè)顯示區(qū)域則通過(guò) NVIDIA Quadro Sync II 同步 vsync 信號(hào)，并結(jié)合 NVIDIA 專業(yè)顯卡提供的 NVAPI swapgroup/barrier 技術(shù)將渲染結(jié)果完美的拼合在一起。

此外整個(gè)渲染平臺(tái)通過(guò)添加 NVIDIA BlueField-2 DPU 和 NVIDIA Spectrum-3 交換機(jī)，具備了運(yùn)行 NVIDIA Rivermax 整體方案的硬件能力。

NVIDIA Rivermax 提供了高性能的流媒體傳輸服務(wù)，這種服務(wù)在 Windows 平臺(tái)上實(shí)現(xiàn)了 GPU Direct P2P 支持，消除了額外的 GPU 顯存到系統(tǒng)內(nèi)存的拷貝，降低了操作系統(tǒng)層面的延遲，同時(shí)也降低了 CPU 資源的占用，從而讓整個(gè)渲染平臺(tái)的運(yùn)行更為可靠。啟用 NVIDIA Rivermax 后，單顆 CPU 核心可以輕松收發(fā) 100Gbps 的媒體流。

圖 2. 單顆 CPU 核心收發(fā) 100Gbps 媒體流

而且整個(gè)平臺(tái)也具備了部署 DOCA Firefly 的條件。DOCA Firefly 是 NVIDIA 提供的基于硬件的精確時(shí)間同步服務(wù)。在 NVIDIA BlueField-2 DPU 上部署 DOCA Firefly 可以實(shí)現(xiàn)納秒級(jí)別的時(shí)間同步精度，其典型值如下表所示：

使用效果及影響

騰訊 CDD 綜合 NVIDIA 提供的各項(xiàng)產(chǎn)品，使用 NVIDIA RTX A6000 實(shí)時(shí)渲染，使用 NVIDIA Rivermax 在 GPU 顯存間直接傳輸數(shù)據(jù)，使用 NVIDIA BlueField-2 DPU 部署精確時(shí)間服務(wù) DOCA Firefly 來(lái)同步所有渲染節(jié)點(diǎn)的系統(tǒng)時(shí)鐘，使用 NVIDIA Spectrum-3 交換機(jī)復(fù)制 GPU 顯存數(shù)據(jù)并承載時(shí)鐘網(wǎng)絡(luò)，通過(guò)這一系列改進(jìn)措施，最終實(shí)現(xiàn)了在 LED 立面屏幕上以超低延遲呈現(xiàn)數(shù)字流資產(chǎn)的能力。

songjy