《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 業界動態 > 雞生蛋與蛋生雞,縱覽神經架構搜索方法

雞生蛋與蛋生雞,縱覽神經架構搜索方法

2018-08-20

從谷歌漸進式的架構搜索到 CMU 的可微架構搜索,利用神經網絡自動搭建不同的神經網絡架構已經受到廣泛的關注。最近弗萊堡大學的研究者發表了一篇論文縱覽不同的神經架構搜索方法,他們從神經網絡的搜索空間、搜索策略以及性能評估策略等三個方向探討了不同的思路與方法。


深度學習在感知任務中取得的成功主要歸功于其特征工程過程自動化:分層特征提取器是以端到端的形式從數據中學習,而不是手工設計。然而,伴隨這一成功而來的是對架構工程日益增長的需求,越來越多的復雜神經架構是由手工設計的。神經架構搜索(NAS)是一個自動架構工程過程,因此成為自動化機器學習的合理發展方向。NAS 可以看做 AutoML 的子領域,與超參數優化和元學習有諸多交叉之處。我們根據三個維度對 NAS 方法進行分類:搜索空間、搜索策略及性能評估策略:


搜索空間。搜索空間定義了原則上可以表征的架構。結合有關任務屬性的先驗知識,可以減少搜索空間的大小并簡化搜索。然而,這樣做會引入人類偏見,進而阻礙找到超出人類現有知識的新型架構建筑塊。

搜索策略。搜索策略詳細說明了如何探索搜索空間。它包含了經典的「探索-利用」權衡;一方面,我們需要快速找到性能良好的架構,另一方面,我們應該避免過早收斂到次優架構區域。

性能評估策略。NAS 的目標是找到對未知數據實現高預測性能的架構。性能評估指的是評估這類性能的過程:最簡單的選項是對數據執行標準架構訓練和驗證,但是這樣做計算成本昂貴,而且限制了可以探索的架構數量。因此,近期的研究多集中于開發降低這些性能評估成本的方法上。


上面三個方向可以參考圖 1 進行說明,本文也是根據這三個維度構建的。

微信圖片_20180820142751.jpg

圖 1:神經架構搜索方法圖解。搜索策略從一個預定義的搜索空間中選擇架構 A。該架構被傳遞到一個性能評估策略,接下來該策略將 A 的評估性能返回給搜索策略。


論文:Neural Architecture Search: A Survey

微信圖片_20180820142822.jpg


論文地址:https://arxiv.org/abs/1808.05377v1


摘要:在過去幾年中,深度學習在很多方面都取得了顯著進步,比如圖像識別、語音識別、機器翻譯等。取得這一進展的一個關鍵因素是新型神經架構。目前使用的架構大部分都是由專家手動開發的,而這個過程非常耗時且易出錯。正因如此,人們對于自動神經架構搜索的方法越來越感興趣。我們對這一研究領域的現有工作進行了概述,并按照搜索空間、搜索策略和性能評估策略三個維度對其進行了分類。


2 搜索空間


搜索空間定義了 NAS 方法在原則上可能發現的神經架構。我們現在討論最近的研究成果中常見的搜索空間。


鏈式結構神經網絡空間是一個相對簡單的搜索空間,如圖 2(左)所示。鏈式結構神經網絡架構 A 可以寫成一個 n 層序列,其中第 i 層接收第 i-1 層的輸出作為輸入,而第 i 層的輸出則作為第 i + 1 層的輸入,即 A = Ln ? . . . L1 ?L0。然后將搜索空間參數化為:(i)最大層數 n 可能是無界的;(ii)每一層都可以執行的操作類型,如池化層、卷積層,或更高級的層類型,如深度可分離卷積層(Chollet, 2016)或擴張卷積層(Yu and Koltun, 2016);(iii)與操作相關的超參數,如卷積層的濾波器數、核大小和步長,或者全連接網絡(Mendoza et al, 2016)的單元數。要注意(iii)中的參數要以 (ii) 為條件,因此搜索空間的參數化長度不是固定的,而是一個條件空間。

微信圖片_20180820142852.jpg

圖 2:不同架構空間示意圖。圖中每個節點與神經網絡中的一個層對應,例如卷積層或池化層。不同類型的層由不同的顏色顯示。從 L_i 到 L_j 的邊緣表示 L_i 接收 L_j 的輸出作為輸入。圖左:鏈式結構空間的元素。圖右:具有額外的層類型、多個分支和跳躍式連接的復雜搜索空間的元素。


近期關于 NAS 的研究(Brock et al, 2017; Elsken et al, 2017; Zoph et al, 2018; Elsken et al, 2018; Real et al, 2018; Cai et al, 2018b),結合了手工構建架構中已知的現代設計元素,例如跳躍式連接,它允許構建具有多分支的復雜網絡,如圖 2 所示(右)。


受到手動使用不同基元構建神經網絡架構的激勵(Szegedy et al, 2016; He et al, 2016; Huang et al, 2017),Zoph 等人(2018)提議搜索這種基元(將其稱為單元),而不是整個架構。他們優化了兩種不同的單元:一種保留輸入維度的常規單元,另一種是縮小空間維度的縮減單元。如圖 3 所示,最終的架構是通過以預定義的方式堆疊這些單元來構建的。

微信圖片_20180820142918.jpg

圖 3:單元搜索空間圖解。左圖:兩個不同的單元:常規單元(上)和縮減單元(下)(Zoph et al, 2018)。右圖:按順序堆疊單元構建的架構。注意:單元也可以以更復雜的方式組合,例如在多分支空間中,簡單地用單元替換層。


與上面討論的空間相比,這一搜索空間有兩大優勢:


搜索空間大幅減小,因為單元可能相對較小。例如,Zoph 等人(2018)估計,與之前的成果(Zoph and Le, 2017)相比,這一搜索空間的速度提高了 7 倍,而且性能更好。


通過調整模型中使用的單元數量,可以更容易地將單元轉移到其他數據集。Zoph 等人(2018)將 CIFAR-10 上優化后的單元轉移到了 ImageNet 數據集并實現了當前最佳性能。


3 搜索策略


許多不同的搜索策略可以用來探索神經架構空間,包括隨機搜索、貝葉斯優化、進化算法、強化學習(RL)和基于梯度的方法。從歷史上看,進化算法在幾十年前就已經被許多研究人員用來演化神經結構(以及它們的權重)。


為了將 NAS 構造為強化學習問題(Baker et al, 2017a; Zoph and Le, 2017; Zhong et al, 2018; Zoph et al, 2018),神經架構的生成可以視為智能體選擇的動作,動作空間和搜索空間相同。智能體獲得的獎勵基于已訓練架構在不可見數據上的性能評估。不同的 RL 方法在表示智能體的策略和如何優化它們存在差異:Zoph 和 Le(2017)使用循環神經網絡(RNN)策略對一個字符串進行序列采樣,該字符串反過來對神經架構進行編碼。Baker 等人利用 Q-learning 訓練策略,該策略依次選擇層的類型和對應的超參數。


 Cai 等人提出了一個相關方法,將 NAS 構建為序列決策過程:在他們的方法中,狀態是當前(部分訓練的)架構、獎勵是對架構性能的估計,并且該動作對應于遺傳算法中應用的 function-preserving 突變,也稱為網絡態射。


使用 RL 的另一種代替方法是優化神經架構的進化算法。早期的神經進化算法使用遺傳算法來優化神經架構及其權重;然而,當擴展到具有數百萬個權重的現代神經架構時,它就回天乏術了。


更新的神經進化算法(Real et al, 2017; Suganuma et al, 2017; Liu et al, 2018a; Real et al, 2018; Miikkulainen et al, 2017; Xie and Yuille, 2017; Elsken et al, 2018)使用基于梯度的方法來優化權重,而進化算法僅用于優化神經結構本身。


Real 等人(2018)在一項用例研究中對比了強化學習、進化和隨機搜索,得出的結論是:強化學習和進化在最終測試準確度方面表現相當,進化的隨時性能更好,并找到了更精簡的模型。


貝葉斯優化(BO)是超參數優化中最流行的方法之一,但還沒有被許多團體應用到 NAS 中,因為典型的 BO 工具箱基于高斯過程并關注低維連續優化問題。架構搜索空間也以分層的方式被搜索,如與進化一起(Liu et al, 2018a)或通過基于序列模型的優化(Liu et al, 2017)。


與上述無梯度優化方法相比,Liu 等人(2018b)提出用搜索空間的連續松弛方法來實現基于梯度的優化:研究者從一系列運算 {O_1, . . . , O_m} 中計算凸組合,而不是固定要在特定層執行的單個運算 O_i(如卷積或池化)。


4 性能評估策略


前一章節討論了搜索策略,即希望機器能自動搜索到一個神經網絡架構 A,并能最大化它在某些性能度量上的表現,這些度量可能是在未知數據上的準確率等。為了引導神經架構的搜索過程,這些策略需要評估當前搜索到架構 A 的性能。最簡單的方式即在訓練集中訓練搜索到的架構 A,并在驗證數據中評估它的性能。然而,從頭訓練這樣的一個架構經常導致 NAS 算法需要數千 GPU 和數天的時間,這種計算力的需求太大(Zoph and Le, 2017; Real et al, 2017; Zoph et al, 2018; Real et al, 2018)。


為了降低計算力負擔,我們完全可以基于完整訓練后實際性能的低保真度度量來評估性能,這也可以稱為代理度量。這種低保真度包括更短的訓練時間((Zoph et al, 2018; Zela et al, 2018)、在子數據集上訓練(Klein et al, 2017a)、在低分辨率圖像上訓練(Chrabaszcz et al, 2017)、或者在每一層使用較少卷積核的網絡上訓練(Zoph et al, 2018; Real et al, 2018)等。雖然這些低保真度的近似方法降低了計算成本,但它們同樣在估計中也引入了偏差,這樣性能通常會被低估。不過只要搜索策略僅依賴于排序不同的架構,那么相對排序仍然是穩定的,這也就不是什么問題。然而,最近的研究表明,當簡單的近似和完整評估之間的差異太大,相對排序的變化可能會非常大(Zela et al, 2018),我們需要逐漸增加保真度(Li et al, 2017; Falkner et al, 2018)。


5 未來方向


在這一節,我們將討論幾個 NAS 當前和未來的研究方向。大多數已有的研究聚焦于圖像分類的 NAS。因此我們認為擴展到圖像分類之外,將 NAS 應用到更少被探索的領域非常重要。值得注意的是,在這一方向走出的第一步是將 NAS 應用到語言建模(Zoph and Le, 2017)、音樂建模(Rawal and Miikkulainen, 2018)和生成模型(Suganuma et al, 2018);強化學習、生成對抗網絡或傳感融合上的應用可能是未來有潛力的方向。


另一個方向是為多任務問題(Liang et al, 2018; Meyerson and Miikkulainen, 2018)和多目標問題(Elsken et al, 2018; Dong et al, 2018; Zhou et al, 2018)開發 NAS 方法,其中資源有效性的度量與對未見過數據的預測性能一起被用作目標函數。


盡管 NAS 的性能非常驚艷,但它無法解釋為什么特定架構表現良好,也無法說明獨立運行的架構將會有多么相似。識別常見的特性,更好地理解這些對性能有顯著影響的機制,并探索這些特性是否能泛化到不同的問題也是未來重要的研究方向。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          久久成人综合网| 久久久久久噜噜噜久久久精品| 一区二区国产在线观看| 日韩手机在线导航| 国产一区二区电影在线观看| 国产资源精品在线观看| 国产农村妇女精品一区二区| 一本一本久久a久久精品牛牛影视| 一卡二卡3卡四卡高清精品视频| 久久精品国产亚洲高清剧情介绍| 妖精视频成人观看www| 亚洲激情成人网| 国产精品卡一卡二| 亚洲美女性视频| 国产精品视频免费一区| 亚洲精品一二| 亚洲永久免费视频| 亚洲国产欧美日韩另类综合| 亚洲亚洲精品在线观看| 欧美视频在线观看一区二区| 亚洲免费成人av| av成人黄色| 欧美日韩国产不卡| 欧美日韩一区二区三区高清| 亚洲欧美日韩另类精品一区二区三区| 国产精品va| 欧美精品一区二区三区很污很色的| 久久精品国产99国产精品| 欧美国产在线电影| 亚洲男同1069视频| 黄色成人精品网站| 久久福利精品| 鲁大师成人一区二区三区| 欧美日本乱大交xxxxx| 国产精品三上| 亚洲乱码国产乱码精品精| 亚洲欧美国产不卡| 欧美freesex8一10精品| 久久精品中文字幕一区| 久久中文欧美| 国产日韩精品综合网站| 国产免费成人在线视频| 欧美日韩视频一区二区| 亚洲日本一区二区| 欧美成人免费小视频| 国产在线不卡精品| 欧美激情区在线播放| 免费观看在线综合色| 蜜桃av一区二区在线观看| 国产视频精品免费播放| 老司机精品视频一区二区三区| 在线欧美日韩精品| 性欧美videos另类喷潮| 好吊视频一区二区三区四区| 久久久精品欧美丰满| 亚洲精品美女久久7777777| 国内精品伊人久久久久av影院| 美女精品网站| 国产精品久久999| 国产欧美日韩亚洲一区二区三区| 国产视频一区免费看| 国产日韩欧美综合| 一区二区三区高清不卡| 在线电影欧美日韩一区二区私密| 欧美日韩1区2区| 狠狠入ady亚洲精品| 日韩亚洲成人av在线| 国外成人在线视频网站| 国产日韩成人精品| 新67194成人永久网站| 国产精品亚洲综合色区韩国| 欧美高清视频一二三区| 欧美国产一区二区三区激情无套| 欧美a级理论片| 久久久久久69| 极品少妇一区二区三区| 亚洲女与黑人做爰| 999亚洲国产精| 136国产福利精品导航网址| 欧美午夜精品电影| 久久国产精品久久久久久电车| 久久中文在线| 亚洲国产第一| 亚洲国产精品电影在线观看| 欧美性理论片在线观看片免费| 久久久www成人免费精品| 午夜精品短视频| 亚洲欧美日韩久久精品| 夜夜嗨av一区二区三区四区| 一区免费在线| 国产一区二区三区在线免费观看| 亚洲激情影视| 国产一区二区在线免费观看| 91久久在线播放| 欧美午夜免费电影| 国产精品免费网站在线观看| 亚洲美女网站| 怡红院av一区二区三区| 男人的天堂亚洲| 欧美精品午夜视频| 亚洲嫩草精品久久| 毛片精品免费在线观看| 国产欧美一区二区三区另类精品| 亚洲精品乱码久久久久久蜜桃麻豆| 国产啪精品视频| 国产精品推荐精品| 亚洲欧美在线免费观看| 午夜在线精品偷拍| 欧美日韩大片一区二区三区| 老司机aⅴ在线精品导航| 久久福利毛片| 亚洲国产毛片完整版| 激情综合电影网| 亚洲国产精品悠悠久久琪琪| 西西裸体人体做爰大胆久久久| 亚洲综合视频一区| 欧美chengren| 欧美在线观看网站| 一区二区三区|亚洲午夜| 国产精品腿扒开做爽爽爽挤奶网站| 欧美精品成人在线| 国产欧美日韩亚洲精品| 狠狠操狠狠色综合网| 韩国成人精品a∨在线观看| 亚洲午夜成aⅴ人片| 欧美午夜宅男影院在线观看| 亚洲一级网站| 麻豆亚洲精品| 韩国成人福利片在线播放| 久久久久久久网| 亚洲人成精品久久久久| 国产美女精品免费电影| 一区二区欧美国产| 国产综合网站| 国产精品久久久久久久一区探花| 91久久久在线| 亚洲欧美色一区| 国产精品护士白丝一区av| 国产欧美欧洲在线观看| 蜜桃精品久久久久久久免费影院| 欧美不卡三区| 激情综合中文娱乐网| 欧美在线播放一区二区| 亚洲精品在线看| 9色porny自拍视频一区二区| 久久国产夜色精品鲁鲁99| 亚洲一区二区三区成人在线视频精品| 欧美日韩一区二区在线播放| 久久中文字幕一区二区三区| 麻豆成人精品| 国产伦精品一区二区三区四区免费| 亚洲精选一区二区| 小黄鸭精品密入口导航| 日韩午夜在线视频| 国产亚洲毛片| 一区二区三区回区在观看免费视频| 国产精品欧美在线| 日韩午夜在线视频| 亚洲色无码播放| 久久爱www| 久久久久国产成人精品亚洲午夜| 久久久www成人免费毛片麻豆| 99国产精品久久久| 妖精视频成人观看www| 欧美大片一区| 欧美日韩国产精品一区| 一区在线观看| 最新国产成人av网站网址麻豆| 亚洲国产aⅴ天堂久久| 欧美日韩成人精品| 亚洲伦伦在线| 国产欧美精品一区| 久久久久久久尹人综合网亚洲| 开心色5月久久精品| 国产精品夜色7777狼人| 欧美精品电影| 久久久www免费人成黑人精品| 国产精品永久免费| 蜜桃久久精品一区二区| 亚洲国产精品电影在线观看| 亚洲卡通欧美制服中文| 亚洲网站在线| 亚洲黄页视频免费观看| 亚洲国产高清高潮精品美女| 久久精品国产久精国产思思| 亚洲天堂视频在线观看| 亚洲调教视频在线观看| 欧美性猛交xxxx乱大交退制版| 欧美国产一区在线| 国产无遮挡一区二区三区毛片日本| 乱人伦精品视频在线观看| 韩国精品在线观看| 亚洲在线国产日韩欧美| 亚洲精品视频在线播放| 激情视频一区二区| 国产一区在线免费观看| 亚洲欧美影院| 欧美乱妇高清无乱码| 国产精品日日摸夜夜摸av| 国产欧美综合一区二区三区| 欧美成人黑人xx视频免费观看| 亚洲色图在线视频| 欧美日韩三级在线| 一区二区亚洲精品| 亚洲最新视频在线播放| 日韩午夜电影av| 欧美国产日韩一区| 久久免费的精品国产v∧| 麻豆av一区二区三区久久| 欧美精品一区二区三区蜜桃| 亚洲午夜成aⅴ人片| 欧美日韩一区二区三区在线视频| 国产精品欧美精品| 国产一区91| 欧美精品久久久久a| 欧美精品久久一区二区| 国产精品久久网| 国产午夜精品久久久久久免费视| 久久视频一区二区| 性色av一区二区怡红| 中文成人激情娱乐网| 久久免费午夜影院| 国产精品一区二区久久久| 欧美日韩亚洲系列| 国产久一道中文一区| 精东粉嫩av免费一区二区三区| 久久亚洲私人国产精品va| 好吊妞这里只有精品| 一区二区三区免费在线观看| 伊人久久av导航| 欧美日韩一区二区三区在线视频| 欧美日韩一区二区三区在线观看免| 久久这里只精品最新地址| 久久精品一区二区国产| 在线成人性视频| 欧美日韩亚洲综合在线| 久久久国产精彩视频美女艺术照福利| 久久精品国产久精国产一老狼| 亚洲青色在线| 在线日韩欧美视频| 亚洲婷婷国产精品电影人久久| 激情亚洲一区二区三区四区| 国产欧美日韩精品在线| 尤物视频一区二区| 一本色道久久综合狠狠躁篇怎么玩| 亚洲精品一区二区三区av| 国产亚洲人成a一在线v站| 日韩午夜在线电影| 久久精品男女| 国产精品欧美日韩久久| 久久综合久久综合久久综合| 伊人色综合久久天天五月婷| 欧美日韩mp4| 亚洲大胆美女视频| 国产精品对白刺激久久久| 欧美一区二区女人| 欧美一级在线亚洲天堂| 欧美精品aa| 在线免费高清一区二区三区| 亚洲美女毛片| 亚洲国产精品久久久久| 国产精品网站视频| 国产精品永久免费视频| 欧美伦理在线观看| 激情综合五月天| 国产伦精品一区| 国产精品综合| 亚洲理论在线| 久久亚洲电影| 欧美女人交a| 亚洲免费视频在线观看| 国产精品videosex极品| 亚洲一二三区视频在线观看| 午夜精品久久久久久久久久久| 欧美日韩一区二区三区高清| 久久久久久午夜| 久久综合色88| 欧美视频免费看| 国产精品入口| 久久视频在线视频| 麻豆91精品91久久久的内涵| 国产精品婷婷午夜在线观看| 欧美一区二区在线| 亚洲二区视频在线| 国产亚洲网站| 一道本一区二区| 欧美视频一区二区三区| 久久精品人人做人人综合| 欧美日韩国产三级| 国产欧美日韩在线视频| 久久久久久久网站| 一本久久青青| 欧美人与性动交cc0o| 一区二区三区四区国产精品| 中日韩美女免费视频网址在线观看| 中日韩男男gay无套| 国产日韩欧美黄色| 午夜精品久久久久久久久久久| 亚洲伦理精品| 夜色激情一区二区| 免费不卡亚洲欧美| 欧美日韩在线免费| 日韩亚洲欧美精品| 亚洲丝袜av一区| 亚洲欧美综合国产精品一区| 久久国产精品72免费观看| 亚洲视频欧美视频| 久久精品国产99精品国产亚洲性色| 国产精品日韩欧美一区| 国产一区二区观看| 欧美精品国产一区二区| 亚洲欧洲在线观看| 欧美日韩国产专区| 国产午夜久久久久| 亚洲最快最全在线视频| 亚洲少妇诱惑| 国产精品久久久久aaaa樱花| 亚洲视频在线观看一区| 在线亚洲高清视频| 国产精品久久久久天堂| 国产有码在线一区二区视频| 快she精品国产999| 国产在线精品自拍| 99精品欧美一区二区三区| 国产亚洲成年网址在线观看| 亚洲专区国产精品| 亚洲视频碰碰| 欧美久久精品午夜青青大伊人|