論文題目：Task-Agnostic Structured Pruning of Speech Representation Models

論文作者：王皓宇，王思遠(yuǎn)，張衛(wèi)強(qiáng)，萬玉龍

論文單位：清華大學(xué)，OPPO

核心內(nèi)容：近年來，基于無監(jiān)督預(yù)訓(xùn)練技術(shù)的語音表征模型為許多語音任務(wù)帶來了顯著的進(jìn)步，但另一方面，這些模型通常包括大量的參數(shù)，對(duì)硬件平臺(tái)的計(jì)算能力和內(nèi)存空間有很高的要求。為了將大模型部署到生產(chǎn)環(huán)境，模型壓縮技術(shù)至關(guān)重要。結(jié)構(gòu)化剪枝不需要特殊硬件就可以實(shí)現(xiàn)參數(shù)壓縮和推理加速，是一種對(duì)硬件友好的模型壓縮方法，但同時(shí)也會(huì)帶來較大的性能損失。為了彌補(bǔ)性能損失，我們提出了一種細(xì)粒度的注意力頭剪枝方法；除此之外，我們將梯度直通估計(jì)（Straight Through Estimator，STE）引入到L0正則化剪枝方法中，讓模型參數(shù)的分布更加緊湊，從而實(shí)現(xiàn)了進(jìn)一步的加速。我們?cè)赟UPERB排行榜上的實(shí)驗(yàn)表明，我們的壓縮模型比Wav2vec 2.0 Base模型平均性能更好，同時(shí)參數(shù)量比前者減少30%，推理時(shí)間比前者減少50%。

論文題目：SEF-Net: Speaker Embedding Free Target Speaker Extraction Network

論文作者：曾邦，索宏彬，李明

論文單位：武漢大學(xué)，昆山杜克大學(xué)，OPPO

核心內(nèi)容：主流的目標(biāo)說話人分離方法使用目標(biāo)人的聲紋embedding作為參考信息。獲取聲紋embedding的方式主要有兩種：一是使用預(yù)訓(xùn)練的說話人識(shí)別模型進(jìn)行聲紋提取，二是采用多任務(wù)學(xué)習(xí)聯(lián)合訓(xùn)練說話人識(shí)別模型來提取聲紋。然而，由這兩種方案的聲紋提取模塊都是面向說話人識(shí)別任務(wù)進(jìn)行最優(yōu)化訓(xùn)練的，所提取的聲紋embedding對(duì)于目標(biāo)說話人分離任務(wù)可能并不是最優(yōu)的。本文提出一種新穎的、不依賴于聲紋embedding的時(shí)域目標(biāo)說話人分離網(wǎng)絡(luò)SEF-Net。SEF-Net在Transformer解碼器中使用跨多頭注意力來隱式地學(xué)習(xí)注冊(cè)語音的Conformer編碼輸出中的說話人信息并進(jìn)行目標(biāo)說話人分離。實(shí)驗(yàn)結(jié)果表明，SEF-Net與其他主流目標(biāo)說話人提取模型相比具有可比性的性能。SEF-Net為在不使用預(yù)訓(xùn)練說話人識(shí)別模型或說話人識(shí)別損失函數(shù)的情況下進(jìn)行目標(biāo)說話人提取提供了新的可行方案。

論文題目：Robust Audio Anti-Spoofing Countermeasure with Joint Training of Front-End and Back-End Models

論文作者：王興明，曾邦，萬玉龍，李明

論文單位：武漢大學(xué)，昆山杜克大學(xué)，OPPO

核心內(nèi)容：很多語音信號(hào)處理系統(tǒng)的準(zhǔn)確性和可靠性在噪聲環(huán)境下往往會(huì)急劇下降。本文討論了在噪聲環(huán)境中的魯棒偽造語音檢測(cè)方法構(gòu)建。首先，我們嘗試使用預(yù)訓(xùn)練的語音增強(qiáng)模型作為前端模型，并構(gòu)建級(jí)聯(lián)系統(tǒng)。然而，增強(qiáng)模型的獨(dú)立降噪過程可能會(huì)扭曲語音合成產(chǎn)生的偽影或抹除包含在語音中的與偽造相關(guān)信息，進(jìn)而導(dǎo)致偽造語音檢測(cè)性能下降。因此，本文提出了一種新的前端語音增強(qiáng)與后端偽造語音檢測(cè)聯(lián)合訓(xùn)練的框架，來實(shí)現(xiàn)對(duì)噪聲場(chǎng)景魯棒的偽造語音檢測(cè)模型構(gòu)建。所提出的聯(lián)合訓(xùn)練框架在帶噪場(chǎng)景的ASVSpoof 2019 LA數(shù)據(jù)集和FAD數(shù)據(jù)集上均驗(yàn)證了比樸素的偽造語音檢測(cè)后端更加有效。此外，本文還提出了一種交叉聯(lián)合訓(xùn)練方案，使單個(gè)模型的性能可以達(dá)到不同模型得分融合的結(jié)果，從而使聯(lián)合框架更加有效和高效。

論文題目：Outlier-aware Inlier Modeling and Multi-scale Scoring for Anomalous Sound Detection via Multitask Learning

論文作者：章羽聰，索宏彬，萬玉龍，李明

論文單位：昆山杜克大學(xué)、OPPO

核心內(nèi)容：本文提出了一種異常聲音檢測(cè)方法，通過多任務(wù)學(xué)習(xí)將異常樣本曝光（outlier exposure）和內(nèi)部建模（inlier modeling）融合在一個(gè)統(tǒng)一的框架內(nèi)。基于異常樣本曝光的方法可以有效地提取特征，但其魯棒性有待提高。內(nèi)部建模能夠生成魯棒的特征，但這些特征的效果并不理想。最近，一些串行和并行方法被提出來將這兩種方法結(jié)合起來，但它們都需要額外的步驟完成模型建模。這對(duì)于模型的訓(xùn)練和維護(hù)都造成了一些不便。為了克服這些限制，我們使用多任務(wù)學(xué)習(xí)的方法訓(xùn)練了一個(gè)基于Conformer的編碼器，用于異常感知的內(nèi)部建模。此外，我們的方法在進(jìn)行推理的時(shí)候考慮了多尺度的異常打分，可以更加全面的評(píng)估異常值。在MIMII和DCASE 2020任務(wù)2數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，我們的方法優(yōu)于最先進(jìn)的單模型系統(tǒng)，并且與比賽中排名靠前的多系統(tǒng)集成模型有相當(dāng)?shù)哪芰Α?/p>

songjy