卷積神經網絡(CNN)學習筆記1：基礎入門
概述
卷積神經網絡(Convolutional Neural Network, CNN)是深度學習技術中極具代表的網絡結構之一，在圖像處理領域取得了很大的成功，在國際標准的ImageNet數據集上，許多成功的模型都是基於CNN的。CNN相較於傳統的圖像處理算法的優點之一在於，避免了對圖像復雜的前期預處理過程（提取人工特征等），可以直接輸入原始圖像。
圖像處理中，往往會將圖像看成是一個或多個的二維向量，如之前博文中提到的MNIST手寫體圖片就可以看做是一個28 × 28的二維向量（黑白圖片，只有一個顏色通道；如果是RGB表示的彩色圖片則有三個顏色通道，可表示為三張二維向量）。傳統的神經網絡都是采用全連接的方式，即輸入層到隱藏層的神經元都是全部連接的，這樣做將導致參數量巨大，使得網絡訓練耗時甚至難以訓練，而CNN則通過局部連接、權值共享等方法避免這一困難，有趣的是，這些方法都是受到現代生物神經網絡相關研究的啟發（感興趣可閱讀以下部分）。
下面重點介紹下CNN中的局部連接(Sparse Connectivity)和權值共享(Shared Weights)方法，理解它們很重要。
局部連接與權值共享
下圖是一個很經典的圖示，左邊是全連接，右邊是局部連接。
對於一個1000 × 1000的輸入圖像而言，如果下一個隱藏層的神經元數目為10^6個，采用全連接則有1000 × 1000 × 10^6 = 10^12個權值參數，如此數目巨大的參數幾乎難以訓練；而采用局部連接，隱藏層的每個神經元僅與圖像中10 × 10的局部圖像相連接，那么此時的權值參數數量為10 × 10 × 10^6 = 10^8，將直接減少4個數量級。
盡管減少了幾個數量級，但參數數量依然較多。能不能再進一步減少呢？能！方法就是權值共享。具體做法是，在局部連接中隱藏層的每一個神經元連接的是一個10 × 10的局部圖像，因此有10 × 10個權值參數，將這10 × 10個權值參數共享給剩下的神經元，也就是說隱藏層中10^6個神經元的權值參數相同，那么此時不管隱藏層神經元的數目是多少，需要訓練的參數就是這 10 × 10個權值參數（也就是卷積核(也稱濾波器)的大小），如下圖。
這大概就是CNN的一個神奇之處，盡管只有這么少的參數，依舊有出色的性能。但是，這樣僅提取了圖像的一種特征，如果要多提取出一些特征，可以增加多個卷積核，不同的卷積核能夠得到圖像的不同映射下的特征，稱之為Feature Map。如果有100個卷積核，最終的權值參數也僅為100 × 100 = 10^4個而已。另外，偏置參數也是共享的，同一種濾波器共享一個。
卷積神經網絡的核心思想是：局部感受野(local field)，權值共享以及時間或空間亞采樣這三種思想結合起來，獲得了某種程度的位移、尺度、形變不變性（？不夠理解透徹？）。
網絡結構
下圖是一個經典的CNN結構，稱為LeNet-5網絡。
可以看出，CNN中主要有兩種類型的網絡層，分別是卷積層和池化/采樣層(Pooling)。卷積層的作用是提取圖像的各種特征；池化層的作用是對原始特征信號進行抽象，從而大幅度減少訓練參數，另外還可以減輕模型過擬合的程度。
卷積層
卷積層是卷積核在上一級輸入層上通過逐一滑動窗口計算而得，卷積核中的每一個參數都相當於傳統神經網絡中的權值參數，與對應的局部像素相連接，將卷積核的各個參數與對應的局部像素值相乘之和，（通常還要再加上一個偏置參數），得到卷積層上的結果。如下圖所示。
下面的動圖能夠更好地解釋卷積過程：
池化/采樣層
通過卷積層獲得了圖像的特征之后，理論上我們可以直接使用這些特征訓練分類器（如softmax），但是這樣做將面臨巨大的計算量的挑戰，而且容易產生過擬合的現象。為了進一步降低網絡訓練參數及模型的過擬合程度，我們對卷積層進行池化/采樣(Pooling)處理。池化/采樣的方式通常有以下兩種：
- Max-Pooling: 選擇Pooling窗口中的最大值作為采樣值；
- Mean-Pooling: 將Pooling窗口中的所有值相加取平均，以平均值作為采樣值；
如下圖所示。
LeNet-5網絡詳解
以上較詳細地介紹了CNN的網絡結構和基本原理，下面介紹一個經典的CNN模型：LeNet-5網絡。
LeNet-5網絡在MNIST數據集上的結果
本文結束，感謝欣賞。
歡迎轉載，請注明本文的鏈接地址：
http://www.jeyzhang.com/cnn-learning-notes-1.html
參考資料
Deep Learning（深度學習）學習筆記整理系列之（七）
部分圖片出自北京大學信息科學技術學院李戈教授的《深度學習技術與應用》課件