圖像處理池化層pooling和卷積核


1、池化層的作用

在卷積神經網絡中,卷積層之間往往會加上一個池化層。池化層可以非常有效地縮小參數矩陣的尺寸,從而減少最后全連層中的參數數量。使用池化層即可以加快計算速度也有防止過擬合的作用。 

2、為什么max pooling要更常用?

通常來講,max-pooling的效果更好,雖然max-pooling和average-pooling都對數據做了下采樣,但是max-pooling感覺更像是做了特征選擇,選出了分類辨識度更好的特征,提供了非線性,根據相關理論,特征提取的誤差主要來自兩個方面:(1)鄰域大小受限造成的估計值方差增大;(2)卷積層參數誤差造成估計均值的偏移。一般來說,average-pooling能減小第一種誤差,更多的保留圖像的背景信息,max-pooling能減小第二種誤差,更多的保留紋理信息。average-pooling更強調對整體特征信息進行一層下采樣,在減少參數維度的貢獻上更大一點,更多的體現在信息的完整傳遞這個維度上,在一個很大很有代表性的模型中,比如說DenseNet中的模塊之間的連接大多采用average-pooling,在減少維度的同時,更有利信息傳遞到下一個模塊進行特征提取。

3、哪些情況下,average pooling比max pooling更合適?

average-pooling在全局平均池化操作中應用也比較廣,在ResNet和Inception結構中最后一層都使用了平均池化。有的時候在模型接近分類器的末端使用全局平均池化還可以代替Flatten操作,使輸入數據變成一位向量。

max-pooling和average-pooling的使用性能對於我們設計卷積網絡還是很有用的,雖然池化操作對於整體精度提升效果也不大,但是在減參,控制過擬合以及提高模型性能,節約計算力上的作用還是很明顯的,所以池化操作時卷積設計上不可缺少的一個操作。

4、1x1的卷積核有什么作用?

1*1的卷積核在NIN、Googlenet中被廣泛使用,

作用:
1. 實現跨通道的交互和信息整合
2. 進行卷積核通道數的降維和升維
3.對於單通道feature map 用單核卷積即為乘以一個參數,而一般情況都是多核卷積多通道,實現多個feature map的線性組合

4、可以實現與全連接層等價的效果。如在faster-rcnn中用1*1*m的卷積核卷積n(如512)個特征圖的每一個位置(像素點),其實對於每一個位置的1*1卷積本質上都是對該位置上n個通道組成的n維vector的全連接操作。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM