深度學習（二十六）Network In Network學習筆記
Network In Network學習筆記
原文地址：http://blog.csdn.net/hjimce/article/details/50458190
作者：hjimce
一、相關理論
本篇博文主要講解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，過去一年已經有了好幾百的引用量，這篇paper改進了傳統的CNN網絡，采用了少量的參數就松松擊敗了Alexnet網絡，Alexnet網絡參數大小是230M，采用這篇paper的算法才29M，減小了將近10倍啊。這篇paper提出的網絡結構，是對傳統CNN網絡的一種改進(這種文獻少之又少，所以感覺很有必要學習)。
傳統的卷積神經網絡一般來說是由：線性卷積層、池化層、全連接層堆疊起來的網絡。卷積層通過線性濾波器進行線性卷積運算，然后在接個非線性激活函數，最終生成特征圖。以Relu激活函數為例，特征圖的計算公式為：
其中（i，j）表示圖片像素點的位置索引，xij表示我們卷積窗口中的圖片塊，k則表示我們要提取的特征圖的索引。
一般來說，如果我們要提取的一些潛在的特征是線性可分的話，那么對於線性的卷積運算來說這是足夠了。然而一般來說我們所要提取的特征一般是高度非線性的。在傳統的CNN中，也許我們可以用超完備的濾波器，來提取各種潛在的特征。比如我們要提取某個特征，於是我就用了一大堆的濾波器，把所有可能的提取出來，這樣就可以把我想要提取的特征也覆蓋到，然而這樣存在一個缺點，那就是網絡太恐怖了，參數太多了。
我們知道CNN高層特征其實是低層特征通過某種運算的組合。於是作者就根據這個想法，提出在每個局部感受野中進行更加復雜的運算，提出了對卷積層的改進算法：MLP卷積層。另一方面，傳統的CNN最后一層都是全連接層，參數個數非常之多，容易引起過擬合（如Alexnet）,一個CNN模型，大部分的參數都被全連接層給占用了，故這篇paper提出采用了：全局均值池化，替代全連接層。因此后面主要從這兩個創新點進行講解。
二、MLP卷積層(文獻創新點1)
這個是文獻的大創新點，也就是提出了mlpconv層。Mlpconv層可以看成是每個卷積的局部感受野中還包含了一個微型的多層網絡。其實在以前的卷積層中，我們局部感受野窗口的運算，可以理解為一個單層的網絡，如下圖所示：
線性卷積層
CNN層的計算公式如下：
然而現在不同了，我們要采用多層的網絡，提高非線性，於是mlpconv層的網絡結構圖如下：：
Mlpconv層
從上面的圖可以看到，說的簡單一點呢，利用多層mlp的微型網絡，對每個局部感受野的神經元進行更加復雜的運算，而以前的卷積層，局部感受野的運算僅僅只是一個單層的神經網絡罷了。對於mlpconv層每張特征圖的計算公式如下：
-
三、全局均值池化(文獻創新點2)
傳統的卷積神經網絡卷積運算一般是出現在低層網絡。對於分類問題，最后一個卷積層的特征圖通過量化然后與全連接層連接，最后在接一個softmax邏輯回歸分類層。這種網絡結構，使得卷積層和傳統的神經網絡層連接在一起。我們可以把卷積層看做是特征提取器，然后得到的特征再用傳統的神經網絡進行分類。
然而，全連接層因為參數個數太多，往往容易出現過擬合的現象，導致網絡的泛化能力不盡人意。於是Hinton采用了Dropout的方法，來提高網絡的泛化能力。
本文提出采用全局均值池化的方法，替代傳統CNN中的全連接層。與傳統的全連接層不同，我們對每個特征圖一整張圖片進行全局均值池化，這樣每張特征圖都可以得到一個輸出。這樣采用均值池化，連參數都省了，可以大大減小網絡，避免過擬合，另一方面它有一個特點，每張特征圖相當於一個輸出特征，然后這個特征就表示了我們輸出類的特征。這樣如果我們在做1000個分類任務的時候，我們網絡在設計的時候，最后一層的特征圖個數就要選擇1000，下面是《Network In Network》網絡的源碼，倒數一層的網絡相關參數：
全局均值池化層的相關參數如下：
因為在Alexnet網絡中，最后一個卷積層輸出的特征圖大小剛好是6*6,所以我們pooling的大小選擇6，方法選擇：AVE。
四、總體網絡架構
根據上面的作者對傳統CNN的兩個改進，利用其進行1000物體分類問題，於是作者最后設計了一個：4層的NIN+全局均值池化，網絡如下：
個人總結：個人感覺這篇文獻很有價值，實現方式也很簡單，一開始我還以為需要caffe的c++源碼來實現NIN網絡，結果發現實現NIN的源碼實現方式其實就是一個1*1的卷積核，實現卷積運算，所以實現起來相當容易，不需要自己寫源碼，只需要簡簡單單的把卷積核的大小變一下，然后最后一層的全連接層直接用avg pooling替換一下就ok了。個人評價：網絡淺顯易懂，簡單實現，卻可以改進原來的網絡，提高精度，減小模型大小，所以是一篇很值得學習的文獻。后續即將講解另外幾篇2015年，也是對CNN網絡結構改進的牛逼文獻：《Spatial Transformer Networks》、《Striving For Simplicity：The All Convolutional Net》、《Stacked What-Where Auto-encoders》，敬請期待，畢竟這樣的文章敢於挑戰傳統的CNN結構，對其不知做出改進，所以我們需要一篇一篇的學。
參考文獻：
1、《Network In Network》
2、https://github.com/BVLC/caffe/wiki/Model-Zoo
3、https://gist.github.com/mavenlin/d802a5849de39225bcc6
4、《Maxout Networks》
**********************作者：hjimce 時間：2016.1.4 聯系QQ：1393852684 原創文章，版權所有，轉載請保留本行信息***************