七月算法--12月機器學習在線班-第十九次課筆記-深度學習--CNN
七月算法（julyedu.com）12月機器學習在線班學習筆記http://www.julyedu.com
1，卷積神經網絡-CNN 基礎知識
三個要點
1: 首先將輸入數據看成三維的張量(Tensor)
2: 引入Convolution(卷積)操作，單元變成卷積核，部分連接共享權重
3:引入Pooling(采樣)操作，降低輸入張量的平面尺寸
1.1 張量(Tensor)
高，寬度，深度，eg:彩色圖像:rgb,3個深度，圖像的大小是160高度，320，
（3,160,320）一個三維張量
1.2 卷積操作：
一維信號的卷積：
卷積核：1,0，-1
如圖步長stride:2 具體的操作是於卷積核對應位置相乘后續相加即 0*1+1*0+2*(-1)=-2這就是第一個數據和卷積核相乘相加得到的-2；后面一次類推
那么3D-張量的卷積操作如下：
1.3 3D-張量的卷積操作
nn.Spatisl Convolution（3,2，3,3） 第一個3，是輸入圖像的深度為3,第一個數字2是兩個卷積核，后面的3,3，是生成圖像的大小3*3的，一共有2張圖。
卷積操作在深度上面不滑動，為了后面的共享全連接
如下圖，將藍色的部分和對應紅色的部分相乘后香蕉，之后再將三個卷積核對應操作得到的數值全部相加，可以得到數值9，這也就是3維張量的卷積操作，
Padding:1在左右都加上0，其中為了能更好的適應卷積的操作需要將圖像的邊緣一周全部加上0，為了尺寸的方便。 (3,5,3,3, 1,1 1,1)后面兩個都是補0操作。
Bias:偏移量，每個卷積核都帶有一個，b0[:,:,0]
特征是由深度網絡學習出來的，而不是提取出來的
1.4 卷積后的激活函數
三種：ReLU LeakReLU ELU
1.5 Pooling操作
對應區域，按照規則，求最大，或者求平均如下圖，為了調整尺寸，深度不減少，但是可以將H*W處理的尺寸降下來。
1.6 Batched Normalisation
將一組圖像調整成0均值，調整偏移量offset
2 卷積網絡設計
針對圖像識別的卷及網絡設計
2.1 tips
1, 盡量使用3x3尺寸的卷積核，甚至更小(2x2或者1x1), stride取1(除去第一層可以采用稍大尺寸的卷積核)，后面的層次采取較密集的滑動
2, 使用Pooling(2x2)對網絡進行1/4下采樣
3, 采用多層次架構，采用殘差結構實現更深的網絡
2.2 Pattern設計
1, [CONV-RELU-POOL]xN+[FC一RELU]xM+SOFTMAX 卷積CONV, RELU的激活函數，降維到1/4，重復N,
2, [CONV-RELU一CONV-RELU一POOL]xN+[FC一RELU]xM+SOFTMAX 卷積兩次降維一次，(注意最后一層FC，不采用ReLU激活函數)
輸入圖像 224*224*3
第一層
1，（3，3，3）一共有64個卷積核，1728個權重， 第一個3是深度，第二個3*3是卷積核的大小，輸出224*224*64，（人工指定）會輸出64張圖。
2，輸入224*224*64，之后深度變為64，參數：（3*3*64）36864個權重，因為有64個深度
3，poling3一次，將圖片大小變為112*112*64 ，由3.2M變為800K
……
FC進行全連接
3 殘差網絡
3.1復雜網絡結構的BP計算
1，核心：依然是鏈式規則
2，利用框架搭建網絡
3，對自己實現的結構，嚴格用,數值計算驗證
跑一邊epoch
4, 卷積網絡中的正則化
1,訓練時，對圖像增加隨機噪聲,
2，在257x257圖像中，隨機采樣224x224的子圖
3，圖像采用隨機左右鏡像
4，在FC層之間使用Dropout技術,可以用用殘差的網絡
5，嘗試BN，殘差結構
(Waifu2X實驗示例)