AlexNet
大致框架AlexNet是深度神經網絡的開山之作,其中包括前五層是卷積層、三層的全連接層、和softmax層分類。其中使用了ReLU激活函數、局部響應歸一化、重疊池化、在最后一層的全連接上dropout。
優點:使得速度變快,使用relu激活函數,使用重疊池化,droupout等,提高了精度發揮了很重要的作用,使用GPU加快了訓練。
缺點:參數量很多,尤其是全連接層的參數量,消耗了計算資源,速度變慢
VGGNet
大致框架:在ALexNet的基礎上,用多個3*3的卷積核堆疊的方式代替了原先的大卷積核。使用了13個卷積層,3個全連接層。實現了一個不錯的圖像分類效果,首次將圖像分類算法達到“深”層的效果。
優點:vgg16網絡的泛化能力強,vgg16精度很高,vgg16適合用於其他網絡架構,用小卷積替代大卷積,提高了運算速度,也提高了非線性能力
缺點:vgg16計算量比較大,參數量依然很多,消耗了計算資源,,尤其是第一個全連接層
GoogLeNet
大致框架:最典型的特征架構是inception,利用了橫向堆疊的思想,inceptionv1網絡有22層網絡,inception中有很多小的特征卷積核組成的1*1,3*3,5*5,組成的,減少了計算參數,避免消耗過多的資源加快了速度,小卷積核代替大卷積,還有兩個輔助分類器,分別在第3層和第6層有,避免因為網絡加深,造成了梯度消失,最后在計算損失的時候,把兩個輔助分類器的損失一並回傳一起計算
Inceptionv2利用了卷積分解和正交化的思想,使得網絡速度更快,也把大的卷積核拆分成很多小的卷積核一起使用其中n*n拆分成1*n和n*1的思想,使得精度更好
Inceptionv4:引入了殘差塊的思想,網絡速度更快,避免了梯度消失的問題。
優點:提高了精度和速度,使得參數量變得很好,利用了打破傳統的思想,利用橫向堆疊的思想去考慮問題,使得問題更加的簡單,其中inception提出的思想為后面殘差網絡做 鋪墊,還有兩個輔助分類器的加入,使得網絡結構更加的完善
缺點:雖然一部分解決了精度的問題,但是隨着網絡的不斷加深,梯度消失的問題還是存在的,參數量過多的問題依舊在,設置的參數很多
ResNet
大致框架:ResNet主要是為了解決網絡的退化問題,而提出的讓網絡直接去學習恆等映射。網絡退化問題就是:理論上隨着網絡的加深,模型的性能會越來越好,但是實際上,對着網絡的加深,網絡的准確率會到達一定瓶頸,隨着網絡的繼續加深,網絡的性能會出現降低的現象。因此,針對此問題,ResNet提出了殘差塊的思想,從而解決網絡退化問題。
優點:網絡簡單、通用性好,解決了梯度消失的問題,可以實現更深的網絡。
缺點:訓練時間長、成本高。