網(wǎng)絡(luò)結(jié)構(gòu)圖：

02

請(qǐng)別來打擾我：在其他行人干擾下的行人重識(shí)別

Do Not Disturb Me：

Person Re-identification Under the Interference of Other Pedestrians

傳統(tǒng)的行人重識(shí)別假設(shè)裁剪的圖像只包含單人。然而，在擁擠的場(chǎng)景中，現(xiàn)成的檢測(cè)器可能會(huì)生成多人的邊界框，并且其中背景行人占很大比例，或者存在人體遮擋。從這些帶有行人干擾的圖像中提取的特征可能包含干擾信息，這將導(dǎo)致錯(cuò)誤的檢索結(jié)果。為了解決這一問題，本文提出了一種新的深層網(wǎng)絡(luò)（PISNet）。PISNet首先利用Query圖片引導(dǎo)的注意力模塊來增強(qiáng)圖片中目標(biāo)的特征。此外，我們提出了反向注意模塊和多人分離損失函數(shù)促進(jìn)了注意力模塊來抑制其他行人的干擾。我們的方法在兩個(gè)新的行人干擾數(shù)據(jù)集上進(jìn)行了評(píng)估，結(jié)果表明，該方法與現(xiàn)有的Re-ID方法相比具有更好的性能。

03

通過分布蒸餾損失改善人臉識(shí)別中的困難樣本

Improving Face Recognition 

from Hard Samples via Distribution Distillation Loss

目前基于深度學(xué)習(xí)的人臉識(shí)別算法已經(jīng)可以較好的處理簡(jiǎn)單樣本，但對(duì)于困難樣本（低分辨率、大姿態(tài)等）仍表現(xiàn)不佳。目前主要有兩種方式嘗試解決這一問題。第一種方法是充分利用某種需要處理的人臉畸變的先驗(yàn)信息，設(shè)計(jì)特定的結(jié)構(gòu)或損失函數(shù)。這種方式通常不能方便地遷移到其他畸變類型。第二種方法是通過設(shè)計(jì)合適的損失函數(shù)，減小類內(nèi)距離，增大類間距離，得到更具辨別能力的人臉特征。這種方式一般在簡(jiǎn)單和困難樣本上存在明顯的性能差異。為了提升人臉識(shí)別模型在困難樣本上的性能，我們提出了一種基于分布蒸餾的損失函數(shù)。具體來說，我們首先通過一個(gè)預(yù)訓(xùn)練的識(shí)別模型構(gòu)造兩種相似度分布（從簡(jiǎn)單樣本構(gòu)造的Teacher分布和從困難樣本的Student分布），然后通過分布蒸餾損失函數(shù)使Student分布靠近Teacher分布，從而減小Student分布中的同人樣本和非同人樣本的相似度重合區(qū)域，提高困難樣本的識(shí)別性能。我們?cè)诔Ｓ玫拇笠?guī)模人臉測(cè)試集和多個(gè)包含不同畸變類型（人種、分辨率、姿態(tài)）的人臉測(cè)試集上進(jìn)行了充分的實(shí)驗(yàn)，驗(yàn)證了方法的有效性。

04

基于對(duì)抗語(yǔ)義數(shù)據(jù)增強(qiáng)的人體姿態(tài)估計(jì)

Adversarial Semantic Data Augmentation 

for Human Pose Estimation

人體姿態(tài)估計(jì)主要目的是定位人體的關(guān)鍵點(diǎn)坐標(biāo)。目前的SOTA方法在嚴(yán)重遮擋、旁人干擾、對(duì)稱相似三種困難場(chǎng)景中表現(xiàn)仍有待提升。一個(gè)主要的原因是這三種困難場(chǎng)景的訓(xùn)練數(shù)據(jù)較少。之前的方法主要是利用scale、rotation、translation等global spatial transform的方法去進(jìn)行訓(xùn)練數(shù)據(jù)增強(qiáng)。這類常規(guī)的數(shù)據(jù)增強(qiáng)方法并不能對(duì)上述三種困難場(chǎng)景有提升和幫助。本文提出了一種Adversarial Semantic Data Augmentation（對(duì)抗語(yǔ)義數(shù)據(jù)增強(qiáng)方法）。該方法把人體分成多個(gè)有語(yǔ)義的部件，并對(duì)這些人體部件在不同的細(xì)粒度上進(jìn)行重組，從而去模擬出上述三種困難場(chǎng)景。在重組人體部件的過程中，有多個(gè)空間變換參數(shù)來調(diào)節(jié)每一個(gè)人體部件，從而靈活的組合旁人遮擋、手臂交叉、復(fù)雜動(dòng)作等情況。為了讓人體姿態(tài)估計(jì)網(wǎng)絡(luò)能更好的學(xué)習(xí)到對(duì)這些困難場(chǎng)景的魯棒性，我們?cè)O(shè)計(jì)了另外一個(gè)生成網(wǎng)絡(luò)（G）用于控制每個(gè)人體部件的空間變換參數(shù)，人體姿態(tài)估計(jì)網(wǎng)絡(luò)作為判別網(wǎng)絡(luò)（D）從G生成的困難樣本里面去學(xué)習(xí)。G和D在訓(xùn)練過程中互相對(duì)抗。G網(wǎng)絡(luò)不斷的生成各種困難樣本，以迷惑人體姿態(tài)估計(jì)網(wǎng)絡(luò)。而人體姿態(tài)估計(jì)網(wǎng)絡(luò)從這個(gè)對(duì)抗過程中也不斷提升了自己對(duì)困難場(chǎng)景的預(yù)測(cè)準(zhǔn)確性。

05

基于特征解耦的人臉活體檢測(cè)

Face Anti-Spoofing via 

Disentangled Representation Learning

活體檢測(cè)技術(shù)用于在身份驗(yàn)證場(chǎng)景中確定對(duì)象是否為真人，以防御照片、面具、屏幕翻拍等多種方式的攻擊，保證人臉識(shí)別安全。目前基于RGB圖像的活體檢測(cè)方法往往從圖片中直接提取判別性特征，但該特征可能包含了光照、背景或ID等與活體任務(wù)無關(guān)的信息，影響方法實(shí)際使用的泛化性。針對(duì)泛化性問題，本文從特征解耦角度出發(fā)，提出以下創(chuàng)新點(diǎn)：

1、設(shè)計(jì)解耦框架將圖片特征解耦成活體相關(guān)特征和活體無關(guān)特征兩部分，并利用活體相關(guān)特征進(jìn)行真假判別。

2、結(jié)合底層紋理特征約束和高層深度特征約束，進(jìn)一步促進(jìn)活體特征的解耦。

3、探索并展示了影響活體特征的因素，例如攻擊介質(zhì)、采集設(shè)備等，進(jìn)一步深入理解活體任務(wù)本質(zhì)。

本文在多個(gè)學(xué)術(shù)數(shù)據(jù)集上證明了基于輔助約束的特征解耦方法在活體任務(wù)上的有效性。

06

SSCGAN：基于風(fēng)格跳躍連接的人臉屬性編輯

SSCGAN:

Facial Attribute Editing via Style Skip Connections

現(xiàn)有的人臉屬性編輯方法通常采用編碼器-解碼器結(jié)構(gòu)，其中屬性信息被表達(dá)成一個(gè)one-hot向量然后與圖像或特征層拼接起來。然而，這樣的操作只學(xué)到了局部的語(yǔ)義映射而忽略了全局的人臉統(tǒng)計(jì)信息。我們?cè)诒疚奶岢?strong>通過修改通道層面的全局信息(風(fēng)格特征)來解決這個(gè)問題。我們?cè)O(shè)計(jì)了一個(gè)基于風(fēng)格跳躍連接的生成對(duì)抗網(wǎng)絡(luò)(SSCGAN)來實(shí)現(xiàn)精準(zhǔn)的人臉屬性操縱。具體來說，我們?cè)诰幋a器和解碼器之間的多個(gè)風(fēng)格跳躍連接路徑上注入目標(biāo)屬性信息。每個(gè)連接會(huì)抽取編碼器中的隱藏層的風(fēng)格特征,然后做一個(gè)基于殘差的映射函數(shù)來將這個(gè)風(fēng)格特征遷移到目標(biāo)屬性的空間。接下來，這個(gè)被調(diào)整過的風(fēng)格特征可以用作輸入來對(duì)解碼器的隱藏層特征做實(shí)例歸一化。此外，為了避免空間信息的損失(比如頭發(fā)紋理或瞳孔位置)，我們進(jìn)一步引入了基于跳躍連接的空間信息傳遞模塊。通過對(duì)全局風(fēng)格和局部空間信息的操縱，本文提出的方法可以得到在屬性生成準(zhǔn)確率和圖像質(zhì)量上都更好的結(jié)果。實(shí)驗(yàn)結(jié)果表明本文的算法和現(xiàn)有的所有方法相比都有優(yōu)越性。

07

基于時(shí)序性差異表征的動(dòng)作識(shí)別

Temporal Distinct Representation Learning 

for Action Recognition

2D卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于圖像識(shí)別當(dāng)中并取得成功，研究人員現(xiàn)在在嘗試?yán)?D卷積神經(jīng)網(wǎng)絡(luò)來對(duì)視頻進(jìn)行建模。然而利用2D卷積的局限性在于視頻的不同幀共享參數(shù)，會(huì)導(dǎo)致重復(fù)、冗余的信息提取，尤其是空間語(yǔ)義層面會(huì)忽略幀間的重要變化。在這篇工作中，我們嘗試通過兩種方式來解決這一問題：

一是設(shè)計(jì)了一種通道層面的序列化注意力機(jī)制PEM來逐步地激活特征中有區(qū)分性的通道，從而避免信息的重復(fù)提取；

二是設(shè)計(jì)了一種時(shí)序多樣性損失函數(shù)（TD Loss）來強(qiáng)制卷積核關(guān)注并捕捉幀間的變化而不是表觀相似的區(qū)域。

在時(shí)序性較強(qiáng)的數(shù)據(jù)集something-something V1和V2上，我們的方法取得了SOTA效果；另外在時(shí)序性較弱但規(guī)模較大的Kinetics數(shù)據(jù)集上，我們的方法也取得了可觀的精度提升。

結(jié)構(gòu)示意圖：

效果示意圖：

08

物體檢測(cè)中檢測(cè)框?qū)W習(xí)的深入優(yōu)化

Dive Deeper Into Box for Object Detection

無錨框檢測(cè)模型現(xiàn)已成為具有最高檢測(cè)水準(zhǔn)的最新方法，歸因于準(zhǔn)確的邊界框估計(jì)。然而無錨框檢測(cè)在邊界定位上還有不足，對(duì)于具有最高置信度的邊界框仍有很大的改進(jìn)空間。在這項(xiàng)工作中，我們采用了一種邊界重排序的邊界框重組策略，使得在訓(xùn)練中能夠產(chǎn)生更優(yōu)的邊界框， 從而對(duì)物體有更好的貼合。此外，我們觀察到現(xiàn)有方法在邊界框分類與位置回歸學(xué)習(xí)中存在語(yǔ)義不一致性，所以我們對(duì)訓(xùn)練過程中分類與回歸目標(biāo)進(jìn)行了篩選，從而給出了語(yǔ)義一致性的學(xué)習(xí)目標(biāo)。實(shí)驗(yàn)證明我們的優(yōu)化方法上對(duì)于檢測(cè)性能的提升十分有效。

方法示意圖

zhangnn