神經(jīng)架構(gòu)搜索（NAS）因其比手工構(gòu)建的架構(gòu)更能識別出更好的架構(gòu)而備受關(guān)注。近年來，可微分的搜索方法因可以在數(shù)天內(nèi)獲得高性能的NAS而成為研究熱點。然而，由于超級網(wǎng)的建設，其仍然面臨著巨大的計算成本和性能低下的問題。
在本文中，第四范式提出了一種基于近端迭代（NASP）的高效NAS方法。與以往的工作不同，NASP將搜索過程重新定義為具有離散約束的優(yōu)化問題和模型復雜度的正則化器。由于新的目標是難以解決的，我們進一步提出了一種高效的算法，由近端啟發(fā)法進行優(yōu)化。通過這種方式，NASP不僅比現(xiàn)有的可微分的搜索方法速度快，而且還可以找到更好的體系結(jié)構(gòu)并平衡模型復雜度。
最終，通過不同任務的大量實驗表明，NASP在測試精度和計算效率上均能獲得更好的性能，在發(fā)現(xiàn)更好的模型結(jié)構(gòu)的同時，速度比DARTS等現(xiàn)有技術(shù)快10倍以上。此外，NASP消除了操作之間的關(guān)聯(lián)性。
此外，在WWW 2020的論文” Efficient Neural Interaction Functions Search for Collaborative Filtering”中，我們將NASP算法應用到了推薦系統(tǒng)領(lǐng)域，歡迎關(guān)注：
視頻：https://www.tuijianxitong.cn/cn/school/video/26
PPT：https://www.tuijianxitong.cn/cn/school/openclass/27
論文：https://arxiv.org/pdf/1906.12091
代碼：https://github.com/quanmingyao/SIF
果-1.jpg)