AlexNet
大致框架AlexNet是深度神經網絡的開山之作，其中包括前五層是卷積層、三層的全連接層、和softmax層分類。其中使用了ReLU激活函數、局部響應歸一化、重疊池化、在最后一層的全連接上dropout。
優點：使得速度變快，使用relu激活函數，使用重疊池化，droupout等，提高了精度發揮了很重要的作用，使用GPU加快了訓練。
缺點：參數量很多，尤其是全連接層的參數量，消耗了計算資源，速度變慢
VGGNet
大致框架：在ALexNet的基礎上，用多個3*3的卷積核堆疊的方式代替了原先的大卷積核。使用了13個卷積層，3個全連接層。實現了一個不錯的圖像分類效果，首次將圖像分類算法達到“深”層的效果。
優點：vgg16網絡的泛化能力強，vgg16精度很高，vgg16適合用於其他網絡架構，用小卷積替代大卷積，提高了運算速度，也提高了非線性能力
缺點：vgg16計算量比較大，參數量依然很多，消耗了計算資源，，尤其是第一個全連接層
GoogLeNet
大致框架：最典型的特征架構是inception，利用了橫向堆疊的思想，inceptionv1網絡有22層網絡，inception中有很多小的特征卷積核組成的1*1,3*3,5*5，組成的，減少了計算參數，避免消耗過多的資源加快了速度，小卷積核代替大卷積，還有兩個輔助分類器，分別在第3層和第6層有，避免因為網絡加深，造成了梯度消失，最后在計算損失的時候，把兩個輔助分類器的損失一並回傳一起計算
Inceptionv2利用了卷積分解和正交化的思想，使得網絡速度更快，也把大的卷積核拆分成很多小的卷積核一起使用其中n*n拆分成1*n和n*1的思想，使得精度更好
Inceptionv4：引入了殘差塊的思想，網絡速度更快，避免了梯度消失的問題。
優點：提高了精度和速度，使得參數量變得很好，利用了打破傳統的思想，利用橫向堆疊的思想去考慮問題，使得問題更加的簡單，其中inception提出的思想為后面殘差網絡做 鋪墊，還有兩個輔助分類器的加入，使得網絡結構更加的完善
缺點：雖然一部分解決了精度的問題，但是隨着網絡的不斷加深，梯度消失的問題還是存在的，參數量過多的問題依舊在，設置的參數很多
ResNet
大致框架：ResNet主要是為了解決網絡的退化問題，而提出的讓網絡直接去學習恆等映射。網絡退化問題就是：理論上隨着網絡的加深，模型的性能會越來越好，但是實際上，對着網絡的加深，網絡的准確率會到達一定瓶頸，隨着網絡的繼續加深，網絡的性能會出現降低的現象。因此，針對此問題，ResNet提出了殘差塊的思想，從而解決網絡退化問題。
優點：網絡簡單、通用性好，解決了梯度消失的問題，可以實現更深的網絡。
缺點：訓練時間長、成本高。