全局平均池化與全連接對比


全局平均池化與全連接對比

輸出對比

全局平均池化就是把特征圖全局平均一下輸出一個值,也就是把W*H*D的一個張量變成1*1*D的張量。

常用的平均池化,平均池化會有它的filter size,比如 2 * 2,全局平均池化就沒有size,它針對的是整張feature map.

例如:把一個100*100*1000的特征圖經過全局平均化得到一個1*1*1000的張量,就可以鏈接到全連接層。

 

 

計算量對比

全連接先把特征圖壓縮成1列,然后接兩層全連接故計算量4*4*4*4

GAP只在gap得到的特征后直接softmax,故計算量4*4

 

 

 

感受野、參數量、特征信息對比

1.而且全局平均池化操作,從而使其具有全局的感受野,使得網絡低層也能利用全局信息。

2.全連接的目的,因為傳統的網絡我們的輸出都是幾個類別的概率,那么全連接層就是高度提純的特征了,方便交給最后的分類器或者回歸。

但是全連接的參數實在是太多了;GAP減少了參數的數量,可以減輕過擬合的發生.

3.FC會導致feature map損失空間位置信息,而GAP則不會.

 (如果在圖像的某一位置有高響應,則經過FC之后,根據整個feature並不能分辨出刺激源於左上角還是右下角還是什么其他的地方,而通過GAP就可以,因為其保留了空間位置信息)

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM