“金山云從事視頻編碼方向的研究已經(jīng)有超過(guò)5年的時(shí)間。編碼器常規(guī)度量失真的方式是PSNR或者SSIM，然而我們發(fā)現(xiàn)這兩種指標(biāo)在MOS分?jǐn)?shù)下的SROCC很難超過(guò)0.6。除此之外，在一些圖像處理諸如超分、去噪等算法應(yīng)用時(shí)，這一問(wèn)題更加嚴(yán)重?！辈替陆榻B道，“為了更好地打磨算法，我們決定每次測(cè)試都采用人工評(píng)測(cè)的方式，因此質(zhì)量評(píng)測(cè)團(tuán)隊(duì)、算法團(tuán)隊(duì)、前端團(tuán)隊(duì)聯(lián)合設(shè)計(jì)開發(fā)了內(nèi)部版的評(píng)測(cè)平臺(tái)。經(jīng)過(guò)一次次高強(qiáng)度、高頻率的評(píng)測(cè)，我們發(fā)現(xiàn)并解決了以下這些主觀評(píng)測(cè)過(guò)程中的難題：比如什么樣的視頻用來(lái)評(píng)測(cè)更具代表性?哪些評(píng)測(cè)維度是有必要考量的?不同分辨率的視頻應(yīng)該在什么樣的場(chǎng)景下進(jìn)行評(píng)測(cè)?為了幫助更多客戶解決主觀評(píng)測(cè)中的類似難題，金山云魔鏡平臺(tái)應(yīng)運(yùn)而生?！?/p>
通過(guò)高效的主觀畫質(zhì)驗(yàn)證，金山云魔鏡平臺(tái)能夠幫助企業(yè)：實(shí)現(xiàn)算法原型短期快速驗(yàn)證;算法長(zhǎng)期迭代并提供可度量的畫質(zhì)指標(biāo);幫助AI保障泛化性，以滿足商業(yè)化落地需求。
三種評(píng)測(cè)模式 建立“感知愉悅度”評(píng)價(jià)體系
金山云魔鏡平臺(tái)能兼容H.264、H.265、AV1編碼標(biāo)準(zhǔn)的視頻播放。通過(guò)模擬實(shí)際的觀看體驗(yàn)，金山云魔鏡真正對(duì)“感知愉悅度”進(jìn)行評(píng)測(cè)，并深度解析算法對(duì)主觀畫質(zhì)的影響，克服AB-test的局限性，不僅能得到“好不好”，而且能知道“好在哪”、“為何好”。
“在視頻篩選方面，傳統(tǒng)基于內(nèi)容的篩選策略存在較大缺陷，因?yàn)閱我坏膬?nèi)容場(chǎng)景也可以細(xì)分出不同維度的場(chǎng)景，更重要的是，諸如亮度、噪聲等維度是連續(xù)值而非離散值，因此手動(dòng)篩選是不可能的。為此，金山云魔鏡平臺(tái)首先會(huì)對(duì)海量視頻數(shù)據(jù)進(jìn)行過(guò)濾，其次會(huì)使用均衡算法，如特征均衡、質(zhì)量均衡、內(nèi)容均衡，對(duì)過(guò)濾后的數(shù)據(jù)綜合考量篩選。經(jīng)過(guò)篩選后，分布極度不均的原始數(shù)據(jù)集各維度分布更加均勻。”蔡媛表示。
蔡媛接著講到，數(shù)據(jù)篩選后，金山云魔鏡平臺(tái)會(huì)進(jìn)行場(chǎng)景分析，并根據(jù)具體場(chǎng)景提供三種評(píng)測(cè)模式：專家模式(全參考模式)、用戶模式(無(wú)參考模式)和細(xì)粒度模式(OAA模式)。“評(píng)測(cè)維度分為整體維度和局部維度，我們給評(píng)測(cè)員呈現(xiàn)的不是籠統(tǒng)的分?jǐn)?shù)制，而是具體的描述，如難以忍受、令人愉悅等。此外，我們還會(huì)根據(jù)各維度打分對(duì)整體評(píng)分的影響，以及維度之間的相關(guān)性，進(jìn)行相關(guān)的實(shí)驗(yàn)論證。不僅如此，金山云魔鏡平臺(tái)在如何將結(jié)果進(jìn)行映射方面也有專業(yè)的考量，因?yàn)槲覀儼l(fā)現(xiàn)使用數(shù)據(jù)映射算法能有效提升兩批不同時(shí)期標(biāo)注數(shù)據(jù)共同訓(xùn)練的精度。”蔡媛表示。
據(jù)悉，金山云魔鏡平臺(tái)以在線平臺(tái)的方式提供圖像/視頻評(píng)測(cè)服務(wù)，無(wú)需下載。除了平臺(tái)本身提供完整的畫質(zhì)評(píng)測(cè)流程，金山云魔鏡平臺(tái)還能幫助企業(yè)提供全流程畫質(zhì)評(píng)測(cè)解決方案，包括根據(jù)企業(yè)使用場(chǎng)景及樣本類型篩選評(píng)測(cè)數(shù)據(jù)，定制評(píng)測(cè)維度，提供評(píng)測(cè)人數(shù)建議以及評(píng)測(cè)報(bào)告分析，并提供客觀評(píng)價(jià)指標(biāo)的自動(dòng)計(jì)算。
連接產(chǎn)學(xué)界 助推視頻質(zhì)量行業(yè)標(biāo)準(zhǔn)建設(shè)
為了保證專業(yè)性，在魔鏡平臺(tái)打造過(guò)程中，金山云與業(yè)內(nèi)專家和機(jī)構(gòu)進(jìn)行了合作，平臺(tái)支持的三種評(píng)測(cè)模式就是雙方共同推出的。在評(píng)測(cè)精度方面，金山云魔鏡平臺(tái)通過(guò)教學(xué)試題、埋點(diǎn)監(jiān)控、數(shù)據(jù)分析等手段，確保評(píng)測(cè)員的專業(yè)性以及結(jié)果的準(zhǔn)確性。
“高清的研究過(guò)程必須有明確可量化的質(zhì)量目標(biāo)，支持高清路線迭代前進(jìn)，否則容易變成南轅北轍，缺乏明確的目標(biāo)。”蔡媛表示，“下一階段，我們希望以金山云魔鏡平臺(tái)拋磚引玉，尋求更多合作，打造完善畫質(zhì)評(píng)價(jià)體系，包括建立符合國(guó)人審美、適合不同終端的評(píng)價(jià)體系;連接學(xué)術(shù)界，更精準(zhǔn)地傳遞工業(yè)界需求，推動(dòng)技術(shù)發(fā)展;明確可度量的評(píng)測(cè)分?jǐn)?shù)，促進(jìn)高清技術(shù)進(jìn)步，推動(dòng)視頻質(zhì)量的行業(yè)標(biāo)準(zhǔn)?！?/p>
金山云魔鏡平臺(tái)的推出不單是希望幫助用戶提升畫質(zhì)評(píng)測(cè)效率和質(zhì)量，更是希望能夠推動(dòng)國(guó)內(nèi)評(píng)價(jià)標(biāo)準(zhǔn)的建立，推動(dòng)整個(gè)視頻行業(yè)的發(fā)展，為用戶提供更加多元化和全方位服務(wù)。
