（一）卷積神經網絡
卷積神經網絡最早是由Lecun在1998年提出的。
卷積神經網絡通暢使用的三個基本概念為：
1.局部視覺域；
2.權值共享；
3.池化操作。
在卷積神經網絡中，局部接受域表明輸入圖像與隱藏神經元的連接方式。在圖像處理操作中采用局部視覺域的原因是：圖像中的像素並不是孤立存在的，每一個像素與它周圍的像素都有着相互關聯，而並不是與整幅圖像的像素點相關，因此采用局部視覺接受域可以類似圖像的此種特性。
另外，在圖像數據中存在大量的冗余數據，因此在圖像處理過程中需要對這些冗余數據進行處理。因此在卷積神經網絡中，采用pooling的方法來對圖像中的冗余數據進行處理，得到描述性更強的數據特性。pooling方法常用的有maxpooling和meanpooling兩種方式。
權值共享：使用卷積核構建像素之間關聯時，每一個隱含神經元在使用卷積核進行操作時的權重是共享的。在對圖像進行卷積操作室，並不需要對每一個卷積核新建立參數，滑動過程中的卷積核參數都是共享的。這樣就意味着第一層隱含神經元所檢測到完全一樣的特征，只不過是輸入圖像的不同位置。為了明白這個過程為什么有效果，我們假定給定的權重和偏移量學習到的特征為一個局部視覺域的垂直檢測特征，那么這個特征是可以使用到其它應用中的。因此，我們一般把第一步通過隱藏神經元得到的數據叫做feature map。我們把這個過程中學習到的權重叫做shared weight，把該過程學習到的bias成為shared bias。而將shared weight同shared bias結合起來就是一個卷積核或者是濾波器（a filter or kernel）。而且在實際應用中，經常選取多個kernel，用於描述輸入在不同kernel下學習到的特征。
在經過卷積層之后，學習到的特征類似於如下的特征：
這些特征的數量為20，那么對應的filter/kernel的數量也為20。在學習到的特征描述中，白色像素塊表示權值小，特征圖對輸入像素的像素響應小，而黑色像素塊的權值大，特征圖對輸入像素的響應大。每一個特征圖為5*5，對應的5*5的權值。從這些特征圖中可以發現，通過卷積操作真正的學到一些相關的空間結構，但是我們並不知道這些特征檢測子學習到什么。
權值共享的好處就是該操作大大降低了網絡參數的個數。
卷積神經網絡層結構的理解：
卷積層
convolution層一般緊接着pooling層，pooling層的操作如下圖所示：
我們可以認為max-pooling是一種在圖像區域中尋找是否發現特征位置的操作。在發現圖像特征位置后，可以丟棄特征的位置信息。
pooling層可以降低在接下來操作過程中的參數數量。但是max-pooling並不是唯一的pooling方法，L2方法也是一種常用pooling方式，L2pooling的思路是對局部區域中的像素值采用L2規則化計算。同時存在其他pooling方法，具體使用過程根據應用確定。
參考資料：
VGG Convolutional Neural Networks Practical
Deep learning
CS231n Convolutional Neural Networks for Visual Recognition
（二）深度學習基礎知識總結
batchsize在深度學習算法中的作用：
在SGD算法里面，梯度是minibatch的平均值。Batchsize越大，噪聲梯度越小。而噪聲是用來使得收斂值逃離局部最小值的擾動。這就是SGD算法比BGD（batch gradient descent）好的地方，minibatch大小選擇並沒有一個確定的規矩，這是根據網絡和數據來決定的，而minibatch size的選擇是通過不斷嘗試獲取最優size。Batchsize越小，更新值的噪聲也就越大。因此，降低batchsize時需要降低lr值，通過更多的迭代次數來獲取更好訓練效果。（原帖鏈接）
在使用caffe訓練的過程中，需要考慮到夏卡的顯存問題，因此在調整訓練參數時，修改validation.prototxt中的batch_size值同樣可以降低對顯存的需求。在caffe中base_lr和batch_size是相關聯的，理論上當時用X降低batchsize時（128->64），需要對base_lr應該乘以sqrt(x)。應該修改的值為stepsize和max_iter，batchsize除以x，那么這兩個值應該乘以x，同時應該注意網絡的loss，如果在 10k-20k 迭代之后loss > 6.9 (which is basically random guessing)，那么網絡在迭代過程中並沒有學習到東西。（原帖鏈接1，原帖鏈接2）