| Name | Year | Chararcteristics | Paper link |
|---|---|---|---|
| LeNet-5 | 1998 | 開山之作，實現了參數共享，局部感知，平均池化降采樣 | LeNet-5 |
| AlexNet | 2012 | 使用ReLU解決梯度彌散，使用dropout解決過擬合，多GPU訓練提升速度，提出了局部響應歸一化(LRN)進一步防止梯度爆炸(后來證明不如BN)，數據增強提升了泛化性能 | AlexNet |
| ZFNet | 2013 | 類似於AlexNet，卷積核的大小減小,做了很多細小的試驗，驗證深度學習的可行性，包括可視化中間特征，對后來的研究很有意義 | ZFNet |
| OverFeat | 2013 | 在特征圖后面加入bbox回歸網絡，相對於Alexnet，不使用LRN，更大的pooling stride | OverFeat |
| VGG | 2015 | 證明網絡深度是很有影響力的，但是太深會梯度爆炸(在resnet出現之后解決了深度問題) | VGG |
| NIN | 2014 | conv+relu是假設問題時線性可分的，但是實際問題往往是非線性可分，提出的多層感知機卷積層，是對conv+relu的改進，增加局部模型的表達能力;全局平均池化，避免過擬合;參數更少;提出了1x1卷積，后續的inception系列會用到 | NIN |
| GoogleNet (inception V1) |
2014 | 多種大小卷積並聯,在增加寬度的同時增加網絡對尺度的適應性 | GoogleNet |
| inception V2 | 2015 | 加入了BN層,用兩個3x3代替5x5的卷積，減少參數量，加速計算 | inception V2 |
| inception V3 | 2016 | 提出只有等比例的增大深度和維度才能最大限度的提升網絡的性能，網絡的深度和寬度要平衡，V3的網絡更深更寬，相對V1增加了1.5倍參數，但精度極大提升 | inception V3 |
| inception-V4 | 2016 | 優化了stem模塊，inception模塊更寬了，總的層數也更深，效果更好 | inception-V4 |
| Inception-ResNet-V1 | 2016 | 在inception-V3的基礎上引入resnet思想，計算量和效果基本一致，訓練更快 | Inception-ResNet-V1 |
| Inception-ResNet-V2 | 2016 | 在inception-V4的基礎上引入resnet思想，計算量和效果基本一致，訓練更快 | Inception-ResNet-V1 |
| ResNet-V1 | 2015 | 作者推斷訓練殘差比訓練原始函數更容易，引入了shortcut或者叫瓶頸，解決了深度網絡的退化問題 | ResNet-V1 |
| ResNet-V2 | 2016 | V1在200層左右就會出現過擬合，在V2中調整了relu層在殘差塊中的位置，實現了預激活，實現了深度達到1000的時候都不會出現過擬合 | ResNet-V2 |
| ReNeXt | 2016 | 根據inception和resnet的結構，討論了不同情況下的網絡結構對於網絡的影響，優化了resnet，使用更少的參數量，能夠達到和resnet一樣的效果 | ReNeXt |
| SENet | 2017 | 考慮特征通道之間的關系，提出了SE模塊，在short cut中引入了全局平均池化，可以內嵌到其他的網絡，獲得不同種類的 SENet，提升效果 | SENet |
| MobileNet V1 | 2017 | 體積小，計算量少，適用於移動設備的卷積神經網絡,用深度可分離卷積（Depthwise separable convolution）代替標准的卷積，並使用寬度因子(width multiply)減少參數量 | MobileNet V1 |
| MobileNet V2 | 2018 | 輕量化網絡，主要解決了MobileNet V1在訓練過程中非常容易梯度彌散的問題,增加skip connection,刪除最后一層的ReLu6，Inverted residual block，先升維再卷積，避免破壞特征 | MobileNet V2 |
| ShuffleNet V1 | 2017 | 使用Group convolution和Channel shuffle改進ResNet | ShuffleNet V1 |
| ShuffleNet V2 | 2018 | 輸入通道數與輸出通道數保持相等,改變V1的結構，使得他更符合現有的一些效果好的規則，加入SE之后，網絡也會有很好的提升 | ShuffleNet V2 |
| SqueezeNet | 2017 | SqueezeNet以AlexNet大約1/50的參數實現了類似的性能 | SqueezeNet |
| Xception | 2016 | 網絡結構的新的嘗試，深度可分離卷積降低計算量 | Xception |
后續的語義分割的論文另開一篇詳細總結