接上篇：卷積神經網絡對圖片分類-上
5 池層（Pooling Layers）
池層通常用在卷積層之后，池層的作用就是簡化卷積層里輸出的信息, 減少數據維度，降低計算開銷，控制過擬合。
如之前所說，一張28X28的輸入圖片，經過5X5的過濾器后會得到一個24X24的特征圖像，繼續簡化這個24X24特征圖像里的信息，只保留關鍵信息。需要加入一個池層：
把相鄰的4個單元里的信息合並成一個。上圖中4種顏色區域里的4個單元被合並成了一個單元，就是取4個單元里的最大值，當然可以使用其他方法來進行合並。
28X28經過3個過濾器變成3個24X24的特征圖像，然后再經過池層簡化成3個12X12的特征圖像。
6 全連接層（Fully connected layer）
現在我們可以在網絡的末端加上一個全連接層，來檢測獲取到的這些特征圖像與哪種類別更相近：
該層接收上一層的輸出當做輸入，上一層的輸出就是一些學習出來的特征圖像，該層輸出一個N維的向量，代表圖片可能的分類概率[0.01，0.04，0.94，0.02]，數值越高表示這些特征圖像和那一類更相近。 這里0.94代表圖像是船的可能性為94%，表示預測圖片與過濾器產生了很高的激勵，獲取到了很多高層次的特征，例如船帆，船槳等等特征。0.02表示圖像是鳥的可能性為2%，表示預測圖片與過濾器產生了很低的激勵，沒有獲取到了很多高層次的特征，例如翅膀，喙等等特征。
7 更深的卷積神經網絡結構
一般情況下在卷積神經網絡結構中不僅僅只有卷積層，池層，全連接層，還有其它一些層穿插在卷積層之間。可以減少出現過擬合，提高學習率，緩解梯度消失等等問題。一個典型的CNN結構如下所示：
Input->Conv->ReLU->Conv->ReLU->Pool->Dropout->Conv->ReLU->Conv->ReLU->Pool->Dropout->FullyConnected
現在我們只看每個卷積層，不考慮它們之間穿插的其他層。所以在第一個卷積層之后，又進入下一個卷積層，那么第一個卷積層的輸出就變成了下一個卷積層的輸入。第一個卷積層的輸入是一個普通的圖片，第二個卷積層的輸入是從第一個卷積層變化而來的一些特征圖像。以后每一個卷積層的輸入，基本上都是上一個卷積層提取出來的特征圖像，后面的卷積層組合之前的卷積層里提取的簡單特征， 得到更復雜的特征數據。
當數據一層一層通過更多的卷積層時，你可以得到的特征圖像代表的特征就會更加的復雜。在網絡的最后，你也許可以得到一個抽象的物體。如果你想通過可視化方法在卷積神經網絡中看到更多的信息。這里有一個工具方便你查看https://github.com/yosinski/deep-visualization-toolbox，它的效果如下圖所示：
8 Dropout Layers
dropout層可以防止網絡出現過擬合，網絡有時訓練出來的權重值在訓練集上表現的很好，但不能泛化到測試集上，在測試集表現的不好。例如我們有一組訓練數據如下圖所示，訓練出來了一條曲線與訓練數據很匹配，
但是如果把調訓練出來的曲線用在測試數據上時就很肯能不太准確了，還不如一條直線更貼切
dropout的思想就是，在網絡每次訓練的時候隨機去掉一些神經元（30%，50%等等），防止訓練出來的權重值過度的適合訓練數據。每次訓練的時候都隨機去掉一部分神經元，那么每次訓練的時候都是全新的網絡，類似多個網絡訓練完畢后來進行投票來決定最佳的權重值，有點像決策樹模型。
（未完待續）
參考：
http://neuralnetworksanddeeplearning.com/chap6.html#convolutional_neural_networks_in_practice
https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks/