在論文《SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE》中,作者對模型進行壓縮的核心我感覺就是利用許多的Fire Module模塊來替代原來的conv+pool
其中所謂的“Fire Module”就是一種專門設計的結構,具體而言是由兩部分構成:sequeeze以及后面連接的enpand兩部分,其中的sequeeze部分是卷積核為1*1的卷積層,后面的expand部分是由1*1以及3*3的兩個卷積層共同構成的;
經過這個Fire Module之后,再進行concat操作,然后繼續經過后續的Fire Module層,直到最后,SequeezNet感覺就是一直經過這樣的Fire Module以及Pool層共同構成的,再加上最后的loss層,根據作者論文中的敘述,這種設計形式可以折中檢測的正確率,並且能夠使模型減小。
然后附上兩幅圖: