圖1 FedAMP聯(lián)邦學(xué)習(xí)框架

論文二： 首次提出利用物理信息深度學(xué)習(xí)的框架將二階交通理論模型融合到神經(jīng)網(wǎng)絡(luò)中，以高效解決交通態(tài)的估值的問題：（Physics-Informed Deep Learning for Traffic State Estimation: A Hybrid Paradigm Informed By Second-Order Traffic Models）

交通態(tài)的估值需要解決如何使用稀疏的傳感器（如傳感線圈，浮動(dòng)車）數(shù)據(jù)將整條道路的交通態(tài)（如速度，流量，密度）完整地估計(jì)出來。這對(duì)算法的數(shù)據(jù)效率有著非常高的要求，而傳統(tǒng)的純交通模型和純機(jī)器學(xué)習(xí)的解決方案的效果均不理想。針對(duì)這些問題，本論文提出了基于物理信息深度學(xué)習(xí)框架，通過對(duì)激勵(lì)函數(shù)和連接權(quán)重的特殊設(shè)計(jì)，將復(fù)雜的二階交通模型編碼到神經(jīng)網(wǎng)絡(luò)中去（圖二-a），讓神經(jīng)網(wǎng)絡(luò)在高階交通理論的約束下進(jìn)行訓(xùn)練。具體方法是，使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)進(jìn)行交通態(tài)的估值，然后將估值進(jìn)一步輸入到物理信息神經(jīng)網(wǎng)絡(luò)中去，計(jì)算出該估值的理論余量來量化偏移交通理論的程度。這個(gè)理論余量為估值網(wǎng)絡(luò)的訓(xùn)練提供了重要的正則化信息，大大提高了估值模型的訓(xùn)練效率和估值精度。如圖（圖二-b）所示，本方法可以基于很少的觀測(cè)數(shù)據(jù)獲得更高的估值準(zhǔn)確度。

本文是華為員工在哥倫比亞大學(xué)深造期間完成的工作。

（a)

（b)

圖2 編碼了二階交通理論模型的物理信息神經(jīng)網(wǎng)絡(luò)與交通態(tài)估值結(jié)果

論文三：使用圖卷積網(wǎng)絡(luò)擬合權(quán)值共享神經(jīng)結(jié)構(gòu)搜索的搜索空間，提升神經(jīng)結(jié)構(gòu)搜索魯棒性。（Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks）

論文地址：https://arxiv.org/pdf/2004.08423.pdf

權(quán)值共享的神經(jīng)結(jié)構(gòu)搜索通過訓(xùn)練一個(gè)包含所有分支的超網(wǎng)絡(luò)來復(fù)用不同操作上的計(jì)算量，以子網(wǎng)絡(luò)采樣的方式評(píng)估網(wǎng)絡(luò)結(jié)構(gòu)，大幅度提高了搜索速度。然而，這種子網(wǎng)絡(luò)采樣的方式并不能保證子網(wǎng)絡(luò)的評(píng)估性能準(zhǔn)確反映其真實(shí)屬性。本文認(rèn)為產(chǎn)生這一現(xiàn)象的原因是使用共享權(quán)值構(gòu)建子網(wǎng)絡(luò)的過程中產(chǎn)生了權(quán)值失配，使得評(píng)估性能中混入了一個(gè)隨機(jī)噪聲項(xiàng)。本論文提出使用一個(gè)圖卷積網(wǎng)絡(luò)來擬合采樣子網(wǎng)絡(luò)的評(píng)估性能，從而將這個(gè)隨機(jī)噪聲的影響降至最低。實(shí)驗(yàn)結(jié)果表明，使用本方案后，子網(wǎng)絡(luò)的擬合性能與真實(shí)性能間的排序相關(guān)性得到有效提高，最終搜索得到的網(wǎng)絡(luò)結(jié)構(gòu)性能也更加優(yōu)異。此外，本方案通過圖卷積網(wǎng)絡(luò)擬合了整個(gè)搜索空間中子網(wǎng)絡(luò)的評(píng)估性能，因此可以很方便地選取符合不同硬件約束的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 總體框架示意圖

論文四：首次提出基于多輪閱讀理解的框架解決實(shí)體鏈接問題

實(shí)體鏈接是將文本中提到的實(shí)體鏈接到知識(shí)庫(kù)中對(duì)應(yīng)實(shí)體的任務(wù)，目的是解決實(shí)體存在的歧義性問題，但由于名稱的變化和實(shí)體的模糊性，此任務(wù)十分具有挑戰(zhàn)性，尤其是短文本的實(shí)體鏈接，由于句子長(zhǎng)度短，在鏈接過程中，每個(gè)待消歧的實(shí)體能利用的上下文信息非常有限。針對(duì)這個(gè)任務(wù)，本論文提出了一個(gè)多項(xiàng)選擇閱讀理解的框架，為句子中每個(gè)待消歧的實(shí)體分別生成一個(gè)問題，并將知識(shí)庫(kù)中的候選實(shí)體轉(zhuǎn)換成候選答案集，通過這樣一個(gè)設(shè)計(jì)，實(shí)體鏈接轉(zhuǎn)換為了一個(gè)閱讀理解的問題（圖1 Local部分）。在選擇正確答案的過程中，待消歧實(shí)體的上下文信息與知識(shí)庫(kù)中的候選實(shí)體之間獲得了充分的交互，同時(shí)多個(gè)候選實(shí)體間的區(qū)別也得到了潛在地考慮。為了進(jìn)一步捕捉句子內(nèi)待消歧實(shí)體間的主題一致性來提高鏈接的準(zhǔn)確率，本文采用了多輪閱讀理解的方式以序列去處理多個(gè)待消歧的實(shí)體（圖1 Global部分），為句子內(nèi)多個(gè)實(shí)體的消歧提供了更豐富的信息。另外，為了解決短文本中常見的不可鏈接問題（即知識(shí)庫(kù)中沒有對(duì)應(yīng)的實(shí)體），本文額外設(shè)計(jì)了一個(gè)兩階段的驗(yàn)證機(jī)制來判斷實(shí)體是否可被鏈接。本論文提出的方法在多個(gè)中英文數(shù)據(jù)集上均取得了目前最優(yōu)的實(shí)體鏈接效果。

圖4 基于多輪閱讀理解的實(shí)體鏈接框架

論文五：首次提出基于多尺度地質(zhì)知識(shí)遷移的跨區(qū)塊油氣儲(chǔ)集層分類算法，利用遷移學(xué)習(xí)提升跨區(qū)塊油氣儲(chǔ)集層分類效果。（Cross-Oilfield Reservoir Classification via Multi-Scale Sensor Knowledge Transfer）

油氣儲(chǔ)集層分類是油氣勘探中的一個(gè)關(guān)鍵步驟（如圖一所示），自動(dòng)準(zhǔn)確的油氣儲(chǔ)集層分類方法不僅可以降低油氣行業(yè)專家的工作負(fù)擔(dān)，也可以幫助油氣勘探公司做出最優(yōu)的開采決策。當(dāng)前已有的油氣儲(chǔ)集層分類主要關(guān)注在單一區(qū)塊上的分類效果，但是在新區(qū)塊上應(yīng)用效果卻不盡如人意。因此，如何遷移地層特征從而實(shí)現(xiàn)跨區(qū)塊也能準(zhǔn)確分類是一個(gè)富有挑戰(zhàn)的任務(wù)。本論文首次提出了一種多尺度傳感器抽取方法從多元測(cè)井記錄中抽取地質(zhì)特征的多尺度表示，然后設(shè)計(jì)了一種encoder-decoder模塊來充分利用目標(biāo)和源區(qū)塊的特有特征，最后通過一個(gè)知識(shí)遷移模塊來學(xué)習(xí)特征不變性表示，從而將地質(zhì)知識(shí)從源區(qū)塊遷移到目標(biāo)區(qū)塊。真實(shí)油氣數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明本論文精心設(shè)計(jì)的遷移學(xué)習(xí)方法，可以提升分類模型在新區(qū)塊上的分類表現(xiàn)，相較于基線算法可以有%6.1的效果提升。

圖5 油氣勘探工作流

論文六：首次提供基于超幾何分布的概率模型，用于解決遠(yuǎn)程監(jiān)督命名實(shí)體識(shí)別中的去噪問題。（Denoising Distantly Supervised Named Entity Recognition via

a Hypergeometric Probabilistic Model）

遠(yuǎn)程監(jiān)督是一種常見的機(jī)器學(xué)習(xí)范式，可以降低對(duì)標(biāo)注數(shù)據(jù)的依賴。但是遠(yuǎn)程監(jiān)督往往會(huì)引入噪聲，從而影響學(xué)習(xí)效果。對(duì)于基于遠(yuǎn)程監(jiān)督的命名實(shí)體識(shí)別（NER）來說，如何有效去噪就是一個(gè)十分重要的問題。以往的去噪方法主要基于實(shí)例層次的統(tǒng)計(jì)結(jié)果，往往忽略了不同數(shù)據(jù)集不同實(shí)體類型之間噪聲分布的差異性，從而導(dǎo)致這些方法何難適用于高噪聲比例的設(shè)定。本論文提出了一種基于超幾何分布的學(xué)習(xí)方法，同時(shí)考慮噪聲分布和實(shí)例層次的置信度。具體而言，我們將每個(gè)訓(xùn)練batch里面噪聲樣本的數(shù)量建模成一個(gè)由噪聲比例決定的超幾何分布，這樣一來每個(gè)實(shí)例都可以通過上一輪訓(xùn)練獲得的置信度來決定是噪聲還是正確樣本。實(shí)驗(yàn)結(jié)果表明本論文提出的方法可以有效去除遠(yuǎn)程監(jiān)督范式引入的噪聲，顯著提升NER的效果。

該工作由華為云團(tuán)隊(duì)與中科院軟件所合作完成。

論文七：提出基于對(duì)抗學(xué)習(xí)與相似性增強(qiáng)的域泛化訓(xùn)練新框架，在域泛化行人再識(shí)別領(lǐng)域創(chuàng)下新紀(jì)錄 （Dual Distribution Alignment Network for Generalizable Person Re-Identification）

域泛化是一種適用于現(xiàn)實(shí)應(yīng)用場(chǎng)景的機(jī)器學(xué)習(xí)范式，對(duì)于行人再識(shí)別問題，域泛化是指在大規(guī)模多源數(shù)據(jù)上進(jìn)行模型訓(xùn)練，期望模型在任意未知的場(chǎng)景中都能夠直接適用?，F(xiàn)實(shí)應(yīng)用中，大規(guī)模訓(xùn)練數(shù)據(jù)往往難以收集，域泛化方法正是一個(gè)使得模型能夠低成本快速部署的優(yōu)秀方案。以往的方法對(duì)域間的巨大差異缺乏有效的處理手段，同時(shí)忽略了域間樣本可能的相似性信息。在數(shù)據(jù)域?qū)用?，本論文提出了新的?duì)抗學(xué)習(xí)方法，通過減少中心域與外圍域的差異，實(shí)現(xiàn)了域間差異的有效消除；在樣本層面，本論文通過增強(qiáng)來自不同域的相似樣本之間的相似性，進(jìn)一步對(duì)齊來自不同域的樣本特征分布。在這兩個(gè)方面的共同作用下，本論文的雙重分布對(duì)齊網(wǎng)絡(luò)實(shí)現(xiàn)了新的性能突破。實(shí)驗(yàn)表明，所提方法在公共測(cè)試基準(zhǔn)數(shù)據(jù)集上取得了當(dāng)前最好的結(jié)果。

該工作由華為云團(tuán)隊(duì)與廈門大學(xué)合作完成。

圖7 針對(duì)域泛化行人再識(shí)別問題的雙重分布對(duì)齊網(wǎng)絡(luò)示意圖

為了更好地賦能產(chǎn)業(yè)升級(jí)，華為云持續(xù)深耕AI基礎(chǔ)研究和落地應(yīng)用，打造更懂世界的AI。2020年以來，華為云EI研究團(tuán)隊(duì)已在圖像分類、弱標(biāo)注場(chǎng)景下的圖像分類、圖像檢測(cè)，多模態(tài)數(shù)據(jù)處理、語音語義等領(lǐng)域取得多項(xiàng)世界第一。未來，華為云將持續(xù)把AI前沿算法產(chǎn)品化，并開放給各行業(yè)的AI開發(fā)者使用，通過技術(shù)創(chuàng)新驅(qū)動(dòng)產(chǎn)業(yè)智能升級(jí)。

zhangnn