VGG網絡可以支持任意尺寸的理解

原論文：

Very Deep Convolutional Networks for Large-Scale Image Recognition

arXiv：[1409.1556] Very Deep Convolutional Networks for Large-Scale Image Recognition

intro：ICLR 2015

homepage：Visual Geometry Group Home Page

下圖為VGG網絡的網絡結構

在這里我就不多贅述為什么要用小卷積核，小卷積核有什么好處，感受野，等等，諸如此類問題。這些東西網上講解的非常詳盡。我這里主要想探討一下關於VGG可以接受任意大小的圖片的原因。

眾所周知，卷積層和池化層不會對長寬有着硬性規定。因為卷積層迭代的其實就是卷積核當中的參數，與輸入做卷積運算，不會有什么影響。注意到最后的全連接層。全連接層其實是可以和卷積層互換的，而且他們的參數規模都是一樣的。具體原因，可以看下面這篇文章：

https://blog.csdn.net/jyy555555/article/details/80515562

引用：

上圖是VGG網絡最后三層的替換過程，上半部分是訓練階段，此時最后三層都是全連接層（輸出分別是4096、4096、1000），下半部分是測試階段（輸出分別是1x1x4096、1x1x4096、1x1x1000），最后三層都是卷積層。下面我們來看一下詳細的轉換過程（以下過程都沒有考慮bias，略了）：

先看訓練階段，有4096個輸出的全連接層FC6的輸入是一個7x7x512的feature map，因為全連接層的緣故，不需要考慮局部性，可以把7x7x512看成一個整體，25508（=7x7x512）個輸入的每個元素都會與輸出的每個元素（或者說是神經元）產生連接，所以每個輸入都會有4096個系數對應4096個輸出，所以網絡的參數（也就是兩層之間連線的個數，也就是每個輸入元素的系數個數）規模就是7x7x512x4096。對於FC7，輸入是4096個，輸出是4096個，因為每個輸入都會和輸出相連，即每個輸出都有4096條連線（系數），那么4096個輸入總共有4096x4096條連線（系數），最后一個FC8計算方式一樣，略。

再看測試階段，由於換成了卷積，第一個卷積后要得到4096（或者說是1x1x4096）的輸出，那么就要對輸入的7x7x512的feature map的寬高（即width、height維度）進行降維，同時對深度（即Channel/depth維度）進行升維。要把7x7降維到1x1，那么干脆直接一點，就用7x7的卷積核就行，另外深度層級的升維，因為7x7的卷積把寬高降到1x1，那么剛好就升高到4096就好了，最后得到了1x1x4096的feature map。這其中卷積的參數量上，把7x7x512看做一組卷積參數，因為該層的輸出是4096，那么相當於要有4096組這樣7x7x512的卷積參數，那么總共的卷積參數量就是：

[7x7x512]x4096，這里將7x7x512用中括號括起來，目的是把這看成是一組，就不會懵。

第二個卷積依舊得到1x1x4096的輸出，因為輸入也是1x1x4096，三個維度（寬、高、深）都沒變化，可以很快計算出這層的卷積的卷積核大小也是1x1，而且，通道數也是4096，因為對於輸入來說，1x1x4096是一組卷積參數，即一個完整的filter，那么考慮所有4096個輸出的情況下，卷積參數的規模就是[1x1x4096]x4096。第三個卷積的計算一樣，略。

其實VGG的作者把訓練階段的全連接替換為卷積是參考了OverFeat的工作，如下圖是OverFeat將全連接換成卷積后，帶來可以處理任意分辨率（在整張圖）上計算卷積，而無需對原圖resize的優勢。

Digression：前段時間看了RCF網絡，他之所以可以輸出和輸入同樣尺寸的圖片，就是因為其只有卷積層和池化層，去除了所有全連接層。

VGG網絡可以支持任意尺寸的理解

免責聲明！