感受野:對於第一次卷積,如果卷積核是3*3,那么卷積的感受野就是3*3,如果在此卷積上,再進行一次卷積的話,那么這次的卷積的感受野就是5*5
因為5*5的區域,卷積核為3*3, 卷積后每一個點的感受野是3*3,卷積后的區域為3*3
第二次卷積還用用3*3的卷積的話,第二次卷積的結果就變成了1*1,因此每一個點的感受野是5*5
對應於3次卷積的結果,每一點的感受野就是7*7,
由上式我們可以看出,對於3個3*3卷積后的感受野和一個7*7卷積核卷積的感受野是相同的,我們下面做一個比較,3個3*3卷積的參數要小於一個7*7,這樣可以防止過擬合的情況,同時多層的relu激活,增加了卷積過程中的非線性,
網絡結構技巧1:3個3*3卷積替換一個7*7卷積
網絡結構技巧2:使用1*1*c*c/2, 3*3*c/2*c/2, 1*1*c/2*c 卷積來替換一個3*3的卷積
網絡技巧總結
1.盡量使用3*3的卷積來替代5*5和7*7的卷積
2.使用1*1的卷積,用來增加或者減少矩陣的維度也是很有效的
3.將N*N的卷積轉換為1*N和N*1的卷積
4.盡量給出較少的參數和較少的計算