mobilenet
v1：深度可分離卷積 depthwise separable convolution
首先利用3×3的深度可分離卷積提取特征，然后利用1×1的卷積來擴張通道。用這樣的block堆疊起來的MobileNetV1既能較少不小的參數量、計算量，提高網絡運算速度，又能的得到一個接近於標准卷積的還不錯的結果
v2：linear bottleneck
ReLU導致了信息損耗，將最后一個ReLU替換成線性激活函數
可以發現，V2和resnet都采用了 1×1 -> 3 ×3 -> 1 × 1 的模式，以及都使用Shortcut結構。但是不同點呢：
ResNet 先降維 (0.25倍)、卷積、再升維。
MobileNetV2 則是 先升維 (6倍)、卷積、再降維。
剛好V2的block剛好與Resnet的block相反，作者將其命名為Inverted residuals。就是論文名中的Inverted residuals。
se-resnet
中心思想：對於每個輸出channel，預測一個常數權重，對每個channel加權一下。
對於每一輸出通道，先global average pool，每個通道得到1個標量，C個通道得到C個數，然后經過FC-ReLU-FC-Sigmoid得到C個0到1之間的標量，作為通道的權重，然后原來的輸出通道每個通道用對應的權重進行加權（對應通道的每個元素與權重分別相乘），得到新的加權后的特征，作者稱之為feature recalibration。
第一步每個通道HxW個數全局平均池化得到一個標量，稱之為Squeeze，然后兩個FC得到01之間的一個權重值，對原始的每個HxW的每個元素乘以對應通道的權重，得到新的feature map，稱之為Excitation。
Global Average Pooling-FC-ReLU-FC-Sigmoid
