雙賽道并行 探索NAS技術(shù)革新之道

早期的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索通過將每個神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上都訓(xùn)練到收斂，然后評估其效果，會耗費大量的算力資源，阻礙了在實際業(yè)務(wù)中的應(yīng)用。因此，業(yè)界開始逐漸研究使用基于可微分框架和超網(wǎng)絡(luò)的輕量級搜索算法，但相關(guān)方法在靈活性和搜索效果上存在一定問題。

從實際技術(shù)研究中的關(guān)鍵問題出發(fā)，本次大賽特意設(shè)置了雙賽道：超網(wǎng)絡(luò)一致性賽道和模型性能預(yù)測賽道。參賽者可以任意選擇或同時參加兩個賽道。獲勝的隊伍會被邀請在CVPRNASworkshop上宣講隊伍的技術(shù)方案。

賽道一：超網(wǎng)絡(luò)一致性track

由于算法的高效性，OneshotNAS逐漸成為研究人員的研究熱點。通過參數(shù)共享的方式，研究人員不再需要獨立訓(xùn)練并評估每個子網(wǎng)絡(luò)的性能而是只需要訓(xùn)練一個大的超網(wǎng)絡(luò)，然后通過繼承超網(wǎng)絡(luò)參數(shù)的方式快速評估每個子網(wǎng)絡(luò)的性能，從而可以非常高效的進行模型結(jié)構(gòu)自動搜索。然而，獨立訓(xùn)練子網(wǎng)絡(luò)的性能、性能排序與子網(wǎng)絡(luò)繼承超網(wǎng)絡(luò)參數(shù)的性能、性能排序之間有很大的偏差，從而導(dǎo)致搜索得到結(jié)構(gòu)性能差無法使用。本賽道旨在解決超網(wǎng)絡(luò)的一致性問題。基于超網(wǎng)絡(luò)性能與獨立訓(xùn)練子網(wǎng)絡(luò)性能最一致的隊伍將獲得冠軍。

賽道二：模型性能預(yù)測track

在不訓(xùn)練的情況下，準確的預(yù)測任意模型結(jié)構(gòu)性能非常重要?；诖?，不僅可以深度的分析模型結(jié)構(gòu)的性能優(yōu)劣，同時還能夠預(yù)測出滿足任意硬件延時約束下的最優(yōu)的模型結(jié)構(gòu)。本賽事提供了部分（小樣本）模型結(jié)構(gòu)與模型精度之間對應(yīng)關(guān)系的bench mark,參賽選手既可以通過黑盒的方式直接進行訓(xùn)練，也可以使用白盒的方式進行參數(shù)估計。最終預(yù)測泛化性能最好的模型隊伍將獲得冠軍。

技術(shù)、平臺、免費算力 百度全方位助力AI競技

此次百度聯(lián)合悉尼科技大學(xué)和美國北卡羅來納大學(xué)等高校舉辦CVPR 2021 NAS workshop，并在CVPR 2021舉辦的NAS國際競賽是第一屆輕量級神經(jīng)網(wǎng)絡(luò)自動搜索競賽。

作為人工智能技術(shù)領(lǐng)域的領(lǐng)軍者與深耕者，百度在NAS領(lǐng)域擁有強大的技術(shù)優(yōu)勢和深厚技術(shù)積累。目前，百度在NAS領(lǐng)域已原創(chuàng)性地提出了GP-NAS（CVPR）和SA-NAS（IJCV）等多個AutoDL算法，并使用研發(fā)的AutoDL技術(shù)先后七次在CVPR與ECCV等國際比賽中奪得世界第一。

百度在NAS領(lǐng)域還孵化了模型壓縮工具PaddleSlim。這是基于飛槳PaddlePaddle打造的開源模型壓縮工具庫，囊括了深度學(xué)習模型壓縮領(lǐng)域常用的量化、剪枝、蒸餾、模型結(jié)構(gòu)搜索等方法，并且打造了CV和NLP領(lǐng)域的模型壓縮方案。

通過此次競賽，百度期望與全球開發(fā)者就NAS技術(shù)展開廣泛交流與學(xué)習，積極分享技術(shù)成果與心得。

百度飛槳作為中國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學(xué)習平臺，為本次競賽參賽者提供了平臺和GPU算力等技術(shù)支持，助力AI人才破除參賽桎梏。除了“以賽促學(xué)”、通過競賽挖掘AI人才外，百度以飛槳為創(chuàng)新基座構(gòu)建起涵蓋學(xué)習、實踐、比賽、認證、就業(yè)在內(nèi)的全周期服務(wù)體系，已培養(yǎng)AI人才超100萬。未來5年，百度還將培養(yǎng)超過500萬人工智能技術(shù)與產(chǎn)業(yè)人才。

此次競賽不僅為各賽道的優(yōu)勝者準備了共計10000美金的獎勵，還將在workshop中邀請多位重量級嘉賓進行分享演講。競賽于3月1日正式開啟報名通道，想進一步了解CVPR2021 NAS國際競賽詳情和報名方式，可進入workshop比賽頁面（https://www.cvpr21-nas.com/competition）查看詳細內(nèi)容。

zhangnn