全局平均池化與全連接對比
輸出對比
全局平均池化就是把特征圖全局平均一下輸出一個值,也就是把W*H*D的一個張量變成1*1*D的張量。
常用的平均池化,平均池化會有它的filter size,比如 2 * 2,全局平均池化就沒有size,它針對的是整張feature map.
例如:把一個100*100*1000的特征圖經過全局平均化得到一個1*1*1000的張量,就可以鏈接到全連接層。
計算量對比
全連接先把特征圖壓縮成1列,然后接兩層全連接故計算量4*4*4*4
GAP只在gap得到的特征后直接softmax,故計算量4*4
感受野、參數量、特征信息對比
1.而且全局平均池化操作,從而使其具有全局的感受野,使得網絡低層也能利用全局信息。
2.全連接的目的,因為傳統的網絡我們的輸出都是幾個類別的概率,那么全連接層就是高度提純的特征了,方便交給最后的分類器或者回歸。
但是全連接的參數實在是太多了;GAP減少了參數的數量,可以減輕過擬合的發生.
3.FC會導致feature map損失空間位置信息,而GAP則不會.
(如果在圖像的某一位置有高響應,則經過FC之后,根據整個feature並不能分辨出刺激源於左上角還是右下角還是什么其他的地方,而通過GAP就可以,因為其保留了空間位置信息)