https://blog.csdn.net/Rasin_Wu/article/details/80017920
https://blog.csdn.net/chaipp0607/article/details/72847422
AlexNet
AlexNet在2012年的ImageNet圖像分類大賽中奪得第一名，將top-5錯誤率瞬間提升了百分之十以上。之后，CNN重回歷史舞台。 首先看一下它的網絡結構：
這是論文中的給出的結構圖，看起來很復雜，我們簡化一下。這是吳恩達深度學習課程中給出的講義(注意這里輸入的是的
格式,與論文中有所不同，但是對網絡結構沒有影響)。
AlexNet的網絡結構
-
Conv_1: 卷積層，輸入:
,使用
個
核卷積，步長為
，卷積之后長寬為
,所以輸出格式為
-
Max-pooling:輸入為
,pool:
,步長為:2,所以pool之后長寬為:
,輸出為:
-
Conv_2:卷積層，輸入:
,使用
個
,步長為
,padding為same. Padding常用的有兩種same,valid:-
SAME padding:
![{outheight = \lceil\frac{float(inheight)}{float(strides[1])}\rceil}](/image/aHR0cHM6Ly9qdWVqaW4uaW0vZXF1YXRpb24_dGV4PSU3Qm91dGhlaWdodCUyMCUzRCUyMCU1Q2xjZWlsJTVDZnJhYyU3QmZsb2F0KGluaGVpZ2h0KSU3RCU3QmZsb2F0KHN0cmlkZXMlNUIxJTVEKSU3RCU1Q3JjZWlsJTdE.png)
![{outwidth =\lceil\frac{float(in_width)}{float(strides[2])}\rceil}](/image/aHR0cHM6Ly9qdWVqaW4uaW0vZXF1YXRpb24_dGV4PSU3Qm91dHdpZHRoJTIwJTNEJTVDbGNlaWwlNUNmcmFjJTdCZmxvYXQoaW5fd2lkdGgpJTdEJTdCZmxvYXQoc3RyaWRlcyU1QjIlNUQpJTdEJTVDcmNlaWwlN0Q=.png)
-
VALID padding:
![{outheight = \lceil\frac{float(inheight - filterheight)}{ float(strides[1])}\rceil + 1}](/image/aHR0cHM6Ly9qdWVqaW4uaW0vZXF1YXRpb24_dGV4PSU3Qm91dGhlaWdodCUyMCUzRCUyMCU1Q2xjZWlsJTVDZnJhYyU3QmZsb2F0KGluaGVpZ2h0JTIwLSUyMGZpbHRlcmhlaWdodCklN0QlN0IlMjBmbG9hdChzdHJpZGVzJTVCMSU1RCklN0QlNUNyY2VpbCUyMCUyQiUyMDElN0Q=.png)
![{outwidth = \lceil\frac{float(inwidth - filterwidth )}{float(strides[2])}\rceil + 1}](/image/aHR0cHM6Ly9qdWVqaW4uaW0vZXF1YXRpb24_dGV4PSU3Qm91dHdpZHRoJTIwJTNEJTIwJTVDbGNlaWwlNUNmcmFjJTdCZmxvYXQoaW53aWR0aCUyMC0lMjBmaWx0ZXJ3aWR0aCUyMCklN0QlN0JmbG9hdChzdHJpZGVzJTVCMiU1RCklN0QlNUNyY2VpbCUyMCUyQiUyMDElN0Q=.png)
所以此時Padding為左右兩邊均是
。輸出結果:
. -
-
Max-pooling:輸入為:
,pool為,步長為,長度為:
,輸出結果為:
-
Conv_3,Conv_4,Conv_5:輸入輸出均為
,步長為,核為
,Padding為Same。 -
Max-pooling:輸入
，pool:
,步長為輸出結果為
,也就是
個特征變量。 -
FC:全連接層有兩個隱藏層，從
AlexNet高性能的解釋
- 非線性激活函數：ReLU
- 防止過擬合的方法：Dropout，Data augmentation
- 大數據訓練：百萬級ImageNet圖像數據
- 其他：GPU實現，LRN歸一化層的使用
ReLU
優點:
- ReLU本質上是分段線性模型，前向計算非常簡單，無需指數之類操作；
- ReLU的偏導也很簡單，反向傳播梯度，無需指數或者除法之類操作；
- ReLU不容易發生梯度發散問題，Tanh和Logistic激活函數在兩端的時候導數容易趨近於零，多級連乘后梯度更加約等於0；
- ReLU關閉了右邊，從而會使得很多的隱層輸出為0，即網絡變得稀疏，起到了類似L1的正則化作用，可以在一定程度上緩解過擬合。
缺點:
左邊全部關了很容易導致某些隱藏節點永無翻身之日，所以后來又出現pReLU、random ReLU等改進，而且ReLU會很容易改變數據的分布，因此ReLU后加Batch Normalization也是常用的改進的方法。
Data Augmentation
- 從原始圖像（256,256）中，隨機的crop出一些圖像（224,224）。【平移變換，crop】
- 水平翻轉圖像。【反射變換，flip】
- 給圖像增加一些隨機的光照。【光照、彩色變換，color jittering】
AlexNet 訓練的時候，在data augmentation上的處理：
- 隨機crop。訓練時候，對於256＊256的圖片進行隨機crop到224＊224，然后允許水平翻轉，那么相當與將樣本倍增到
。
- 測試時候，對左上、右上、左下、右下、中間做了5次crop，然后翻轉，共10個crop，之后對結果求平均。作者說，不做隨機crop，大網絡基本都過擬合(under substantial overfitting)。
- 對RGB空間做PCA，然后對主成分做一個
的高斯擾動。結果讓錯誤率又下降了1%。
Dropout
結合多個訓練模型可以減少測試誤差，但是在神經網絡中，訓練每個模型都需要大量的時間，代價昂貴。Dropout通過在隱藏層中以rate概率隨機將部分神經元輸出設置為0，這些神經元既不參於前向傳播，也不參與反向傳播。所以每次提出一個輸入，該神經網絡就嘗試一個不同的結構，但是所有這些結構之間共享權重。因為神經元不能依賴於其他特定神經元而存在，所以這種技術降低了神經元復雜的互適應關系。在測試時只需要除以
。
Local Response Normalization
局部響應歸一化原理是仿造生物學上活躍的神經元對相鄰神經元的抑制現象（側抑制）。
本質上，這個層也是為了防止激活函數的飽和的。
是神經元的影響范圍。
是超參數。
參考資料:
- ImageNet Classification with Deep Convolutional Neural Networks
- [原創]#Deep Learning回顧#之LeNet、AlexNet、GoogLeNet、VGG、ResNet
- 卷積神經網絡-進化史】從LeNet到AlexNet
- 深度學習的局部響應歸一化LRN(Local Response Normalization)理解
- 卷積神經網絡
參考文章：
https://www.cnblogs.com/gongxijun/p/6027747.html
https://blog.csdn.net/hjimce/article/details/50413257https://blog.csdn.net/taoyanqi8932/article/details/71081390--------------------- 作者：Rasin_Wu 來源：CSDN 原文：https://blog.csdn.net/Rasin_Wu/article/details/80017920 版權聲明：本文為博主原創文章，轉載請附上博文鏈接！