關於1*1卷積核的理解


發現很多網絡使用1×1的卷積核,實際就是對輸入的一個比例縮放,因為1×1卷積核只有一個參數,這個核在輸入上滑動,就相當於給輸入數據乘以一個系數。(對於單通道和單個卷積核而言這樣理解是可以的)

對於多通道和多個卷積核的理解,1×1卷積核大概有兩方面的作用:
1.實現跨通道的交互和信息整合(具有線性修正特性,實現多個feature map的線性組合,可以實現feature map在通道個數上的變化,想象成跨通道的pooling,(輸入的多通道的feature map和一組卷積核做卷積求和得到一個輸出的feature map)
2.進行卷積核通道數的降維和升維(同時還具有降維或者升維功能)
3.在pooling層后面加入的1×1的卷積也是降維,使得最終得到更為緊湊的結構,雖然有22層,但是參數數量卻只是alexnet的1/12.
4.最近大熱的MSRA的resnet也利用了1×1的卷積,並且是在3×3卷積層的前后都使用了,不僅進行了降維,還進行了升維,使得卷積層的輸入和輸出的通道數都減小,數量進一步減少。如果1×1卷積核接在普通的卷積層后面,配合激活函數,就可以實現network in network的結構了。
5.還有一個很重要的功能,就是可以在保持feature map尺度不變的(即不損失分辨率)的前提下大幅增加非線性特性(利用后接的非線性激活函數),把網絡做的很deep。(平均池化是針對每個feature map的平均操作,沒有通道間的交互,而1×1卷積是對通道的操作,在通道的維度上進行線性組合)

 

一個filter對應卷積后得到一個feature map

不同的filter(不同的weight和bias),卷積以后得到不同的feature map,提取不同的特征,得到對應的specialized neuro。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM