一、基本概念
Residual Connection：
- 本質是“短路連接”
- 如下圖陰影部分，通過增加shortcuts，加速訓練，從而可以訓練出更深的模型（I.R.v2 > Inception v3）。更深的模型意味着可以學出更多東西，帶來精度的提升。
I.R. v2結構，注意到圖中inception區塊被簡化了，比先前的Inception V3種要包含更少的並行塔（parallel towers）。
Inception模塊的特點，是通過這種並聯結構減少參數，使得泛化性更好、降低對樣本數量的要求。
實現
通過將並聯部分與“短路連接”的tensors相加（或加權相加），並經過一個‘relu’激活函數。
x = layers.add([mix0, shortcut])
x = layers.Activation('relu')(x)
二、論文
為了進一步推進這個領域的進步，今天Google團隊宣布發布Inception-ResNet-v2（一種卷積神經網絡——CNN），它在ILSVRC圖像分類基准測試中實現了當下最好的成績。Inception-ResNet-v2是早期Inception V3模型變化而來，從微軟的殘差網絡（ResNet）論文中得到了一些靈感。相關論文信息可以參看我們的論文Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning（Inception-v4, Inception-ResNet以及殘差連接在學習上的影響）：
殘差連接（Residual connections ）允許模型中存在shortcuts，可以讓研究學者成功地訓練更深的神經網絡（能夠獲得更好的表現），這樣也能明顯地簡化Inception塊。
效果
如下方圖表所示，Inception-ResNet-v2架構的精確度比之前的最優模型更高，圖表中所示為基於單個圖像的ILSVRC 2012圖像分類標准得出的排行第一與排行第五的有效精確度。此外，該新模型僅僅要求兩倍於Inception v3的容量與計算能力。
Inception-ResNet-v2具體代碼實現過程參見：
https://github.com/tensorflow/models/blob/master/slim/nets/inception_resnet_v2.py