零、Inception-Resnet-V2的網絡模型
整體結構如下，整體設計簡潔直觀:
其中的stem部分網絡結構如下，inception設計，並且conv也使用了7*1+1*7這種優化形式：
inception-resnet-A部分設計，inception+殘差設計：
截自https://my.oschina.net/gyspace/blog/893788
一、Inception
基本思想：不需要人為決定使用哪個過濾器，或是否需要池化，而是由網絡自行確定這些參數，你可以給網絡添加這些參數的所有可能值，然后把這些輸出連接起來，讓網絡自己學習它需要什么樣的參數，采用哪些過濾器組合。
細節：網絡中存在softmax分支，原因——即便是隱藏單元和中間層也參與了特征計算，它們也能預測圖片的分類，它在Inception網絡中起到一種調整的效果，防止過擬合。
二、Resnet
殘差網絡就是殘差塊的堆疊，這樣可以把網絡設計的很深；
殘差網絡和普通網絡的差異是，al+2在進行非線性變化前，把al的數據拷貝了一份與zl+2累加后進行了非線性變換；
對於普通的卷積網絡，用梯度下降等常用的優化算法，隨着網絡深度的增加，訓練誤差會呈現出先降低后增加的趨勢，而我們期望的理想結果是隨着網絡深度的增加訓練誤差逐漸減小，而Resnet隨着網絡深度的增加訓練誤差會一直減小。
三、1*1卷積的主要作用有以下幾點：
1、降維（ dimension reductionality ）。比如，一張500 * 500且厚度depth為100 的圖片在20個filter上做1*1的卷積，那么結果的大小為500*500*20。
2、加入非線性。卷積層之后經過激勵層，1*1的卷積在前一層的學習表示上添加了非線性激勵（ non-linear activation ），提升網絡的表達能力；可以在保持feature map尺度不變的（即不損失分辨率）的前提下大幅增加非線性特性（利用后接的非線性激活函數），把網絡做的很deep。
當1*1卷積出現時，在大多數情況下它作用是升/降特征的維度，這里的維度指的是通道數（厚度），而不改變圖片的寬和高。