HDR圖像同時包含強(qiáng)光源照射下的極亮區(qū)域和陰影、逆光下的極暗區(qū)域,容易出現(xiàn)明亮區(qū)域過曝、或者黑暗區(qū)域純黑的情況,必須經(jīng)過寬動態(tài)技術(shù)處理才能適配常規(guī)顯示設(shè)備。傳統(tǒng)的寬動態(tài)技術(shù)由于缺失自適應(yīng)的局部與全局處理方法,會損失大量信息,生成結(jié)果局部粗糙或者全局銳化。業(yè)界也在探索基于AI的寬動態(tài)技術(shù),最大挑戰(zhàn)在于缺乏成對匹配的HDR-LDR數(shù)據(jù),難以構(gòu)建完備訓(xùn)練數(shù)據(jù)。
為此,該團(tuán)隊創(chuàng)新性地提出利用雙流控制擴(kuò)散網(wǎng)絡(luò)保持圖像在前向傳播過程中的結(jié)構(gòu)細(xì)節(jié)和色調(diào)風(fēng)格,可實現(xiàn)零樣本學(xué)習(xí)。具體而言,該方法采用平均值減除和對比度歸一化(MSCN)技術(shù),提取出HDR和LDR圖像的共享結(jié)構(gòu)特征作為 “橋梁”,引導(dǎo)擴(kuò)散模型學(xué)習(xí)到HDR圖像結(jié)構(gòu)并維持LDR圖像的色調(diào)風(fēng)格,最終生成紋理細(xì)節(jié)豐富且色彩均衡的LDR圖像。
基于標(biāo)準(zhǔn)的HDRPS色調(diào)映射數(shù)據(jù)集,該模型的NIQE和TMQI指標(biāo)相比業(yè)界提升7.11%和0.61%。此外,達(dá)摩院團(tuán)隊將模型遷移到紅外圖像恢復(fù)領(lǐng)域,在公開的VIS-NIR數(shù)據(jù)集上取得了超過業(yè)界10%的效果。相關(guān)學(xué)術(shù)論文《Zero-Shot Structure-Preserving Diffusion Model for High Dynamic Range Tone Mapping》被國際計算機(jī)視覺與模式識別會議(CVPR)收錄為今年亮點(Highlight)。
據(jù)達(dá)摩院計算技術(shù)實驗室介紹,該技術(shù)可幫助ISP芯片實現(xiàn)更智能的光線適應(yīng)性和動態(tài)范圍調(diào)整,也有望與其他多種擴(kuò)散模型結(jié)合,發(fā)展AIGC技術(shù)的新可能。面向圖計算、自動駕駛、多模態(tài)AI、具身智能等新型計算需求,該團(tuán)隊將持續(xù)探索軟硬件全棧創(chuàng)新,助力芯片產(chǎn)業(yè)和數(shù)字經(jīng)濟(jì)發(fā)展。