深度學習原理與框架-卷積網絡細節-網絡設計技巧 1. 3個3*3替換7*7卷積核 2. 1*1 和 3*3 替換 3*3卷積核


感受野:對於第一次卷積,如果卷積核是3*3,那么卷積的感受野就是3*3,如果在此卷積上,再進行一次卷積的話,那么這次的卷積的感受野就是5*5 

因為5*5的區域,卷積核為3*3, 卷積后每一個點的感受野是3*3,卷積后的區域為3*3

第二次卷積還用用3*3的卷積的話,第二次卷積的結果就變成了1*1,因此每一個點的感受野是5*5

 

對應於3次卷積的結果,每一點的感受野就是7*7, 

由上式我們可以看出,對於3個3*3卷積后的感受野和一個7*7卷積核卷積的感受野是相同的,我們下面做一個比較,3個3*3卷積的參數要小於一個7*7,這樣可以防止過擬合的情況,同時多層的relu激活,增加了卷積過程中的非線性, 

網絡結構技巧1:3個3*3卷積替換一個7*7卷積

網絡結構技巧2:使用1*1*c*c/2, 3*3*c/2*c/2, 1*1*c/2*c 卷積來替換一個3*3的卷積

 

網絡技巧總結

1.盡量使用3*3的卷積來替代5*5和7*7的卷積

2.使用1*1的卷積,用來增加或者減少矩陣的維度也是很有效的

3.將N*N的卷積轉換為1*N和N*1的卷積

4.盡量給出較少的參數和較少的計算

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM