神經架構搜索（NAS）綜述

一、定義

神經架構搜索（Neural Architecture Search，簡稱 NAS）的核心思想是使用搜索算法來發現用於解決我們的問題所需要的神經網絡結構。

有些論文的結果很難重現原因之一就是獲得最優超參值往往需要花很大的力氣。超參數的自動搜索優化是一個古老的話題了。

對於深度學習來說，超參數（Hyperparameter）主要有三類：

1. 優化參數（如learning rate，batch size，weight decay等）
2. 定義網絡結構的參數（比如有幾層，每層是啥算子，卷積中的filter size等）
3. 正則化系數

對於訓練參數的自動調優屬於超參數優化（Hyperparameter optimization，簡稱HO）；而定義網絡結構的參數進行自動調優一般稱為網絡架構搜索（Neural Architecture Search，簡稱NAS）。

二、NAS 架構

三、NAS結構組成

NAS主要由搜索空間、搜索策略、性能評估策略三部分組成。

NAS的原理是給定一個稱為搜索空間的候選神經網絡結構集合，用某種策略從中搜索出最優網絡結構。神經網絡結構的優劣即性能用某些指標如精度、速度來度量，稱為性能評估。

四、搜索策略

參考博客：https://blog.csdn.net/jinzhuojun/article/details/84698471