優(yōu)圖提出的ACFD算法在IJCAI2020舉辦的iCartoonFace挑戰(zhàn)賽中排名第一
卡通臉檢測廣泛使用在內(nèi)容審核和動漫視頻分析等業(yè)務場景中,現(xiàn)有的DSFD等通用人臉檢測器難以檢測到一些特定場景下的人臉,因此,優(yōu)圖首次提出一種面向動漫場景的非對稱卡通臉檢測器ACFD。ACFD是一種基于深度學習的目標檢測技術,屬于一階段帶有錨點框的檢測方法,輸入一張卡通圖片,ACFD便可以輸出卡通圖片中卡通臉的位置(x,y,w,h)以及對應的置信度。
本次,優(yōu)圖提出的ACFD檢測算法推理速度僅為50ms且無需任何預訓練模型,能夠檢測出動漫視頻作品中的較為抽象的卡通臉:如機器人臉,類動物臉,玩具臉,簡筆畫臉,表情臉等。
不同于含有端正五官的正常人臉,卡通臉種類豐富,人物抽象。最為常見的有類動物臉,機器人臉,還有一些表情臉。針對這些特點,優(yōu)圖提出非對稱卡通人臉檢測算法ACFD,復用了一些經(jīng)典的人臉檢測器的框架,并作出創(chuàng)新性的改進。
ACFD包括四個部分:用來對卡通圖提取6個特征圖的主干網(wǎng)絡VoVNetV3,對高低特征融合的非對稱的雙向特征金字塔結(jié)構ABi-FPN,動態(tài)錨點框匹配DAM和基于間隔的損失函數(shù)MC loss。
VoVNet是一種計算高效的骨干網(wǎng)絡,其OSA模塊可以輸出靈活的特征表達。VoVNetV2通過添加殘差連接方式解決了VoVNet訓練的局限性,同時引入一種高效的注意力機制。
為進一步提升特征的靈活性,優(yōu)圖提出了一種更有效的骨干網(wǎng)絡VoVNetV3。VoVNetV3在不使用預訓練模型情況下,在較為抽象的動漫場景中表現(xiàn)優(yōu)異,相比于ResNet50,VoVNetV3能夠?qū)z測指標AP (Average Precision) 從0.9018提升至0.9074。
在提取多尺度特征時,目前大部分人臉檢測器采用ResNet或VGG。然而,它們僅僅可以處理方形感受野的,這可能會影響尺度差異較大的人臉檢測。而卡通人臉中大約有10%的比例大于2.0或小于0.5.
優(yōu)圖提出的ABi-FPN模塊同時進行特征融合、語義信息增強以及感受野精細處理,它可以使特征感受野更靈活。
為了在檢測任務中更好的劃分并分類正負樣本,也就是卡通臉和背景兩個類別,ACFD將傳統(tǒng)的錨點框匹配過程改進為動態(tài)的錨點框匹配(DAM),在訓練的每次前向傳播后,對于困難的卡通臉用一些負樣本進行錨點框的補償。這種動態(tài)的錨點框匹配能將baseline的AP指標由0.8765提升至0.8890。
動態(tài)的錨點框匹配策略DAM
在訓練的過程中使用的多任務損失函數(shù),包括回歸loss和分類loss。損失函數(shù)對補償?shù)腻^點框計算出的loss進行了加權,并且在分類loss中引入了margin。優(yōu)圖提出的基于margin損失函數(shù)MC loss最終將AP提升了0.3。
卡通臉檢測是許多業(yè)務的基礎和關鍵環(huán)節(jié),廣泛使用在內(nèi)容審核和動漫視頻分析兩個典型的場景中:
互聯(lián)網(wǎng)上源源不斷產(chǎn)生海量內(nèi)容和數(shù)據(jù),AI算法審核可以提升內(nèi)容審核效率,降低審核成本。比如AI可以在電商平臺、新聞、視頻網(wǎng)站、短視頻應用上檢測識別知名IP形象的使用是否侵權。
動漫產(chǎn)業(yè)蓬勃發(fā)展,每年會產(chǎn)生大量的卡通視頻。使用AI幫助檢測卡通臉,理解卡通人物的人臉信息來進行動漫視頻的分析。
作為騰訊旗下頂級AI實驗室之一,優(yōu)圖一直聚焦視覺AI研究與落地,并積極拓展卡通臉等相關智能識別能力,為新聞平臺、視頻網(wǎng)站、短視頻應用等業(yè)務提供技術支持和解決方案,讓AI視覺識別提升應用效率。