GoogLeNet結構

Inception v1

論文：《Going deeper with convolutions》

在較低的層（靠近輸入的層）中，相關單元更側重提取局部區域的信息。因此使用1x1的特征可以保存這些特征，從而與其他支路提取的特征進行融合。

3x3和5x5的卷積是想要提取不同尺度的特征，3x3卷積和5x5卷積之前的1x1的卷積作用是減少channel，從而降低參數量。

論文中說到之所以使用pooling，是因為pooling操作在目前最好的卷積網絡中是必要的，個人理解是pooling操作可以增強網絡的平移不變性。

GoogLeNet結構（Inception V1）

輸入為224x224的RGB圖像，‘#3x3 reduce’和‘#5x5 reduce’表示3x3和5x5卷積之前1x1的卷積核的個數。

 為了阻止該網絡中間部分梯度消失，作者引入了兩個輔助分類器。它們對其中兩個 Inception 模塊的輸出執行 softmax 操作，然后在同樣的標簽上計算輔助損失。總損失即輔助損失和真實損失的加權和。輔助損失只是用於訓練，在推斷過程中並不使用。

 

Inception v2

論文：《Rethinking the Inception Architecture for Computer Vision》

大尺度的卷積往往會造成計算的浪費，因為大尺度卷積可以分解為幾個小尺度的卷積，從而減小計算量。例如5x5的卷積可以分解為兩層3x3的卷積，而后者的計算量也更小。因此，在inception v2中，大尺度的卷積被分解為小尺度卷積。此外，論文還提出了使用1xn和nx1的兩層卷積代替nxn卷積。inception模塊之間使用stride=2的卷積來降低尺度，而非pooling操作。

論文提出的幾種inception模塊如下

Figure 5

Figure 6

Figure 7

GoogLeNet的結構如下

inception之間使用下面模塊降低尺度。

Inception v3

作者注意到輔助分類器直到訓練過程快結束時才有較多貢獻，那時准確率接近飽和。作者認為輔助分類器的功能是正則化，尤其是它們具備 BatchNorm 或 Dropout 操作時。是否能夠改進 Inception v2 而無需大幅更改模塊仍需要調查。

解決方案：

Inception Net v3 整合了前面 Inception v2 中提到的所有升級，還使用了：

• RMSProp 優化器；
• Factorized 7x7 卷積；
• 輔助分類器使用了 BatchNorm；
• 標簽平滑（添加到損失公式的一種正則化項，旨在阻止網絡對某一類別過分自信，即阻止過擬合）。

 

Inception v4

論文：《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》

改論文提出了inception結合ResNet的網絡模塊。卷積網絡參數中標V的，padding使用valid類型。由於論文提出的模塊較多，在此方向模塊結構，不做詳細說明。