1、MobilenetV3是通過NAS得到的，結合了v1,v2和MnasNet的結構，包括v1的dw，v2的linear bottleneck和逆殘差結構，
MnasNet的se結構(接在部分linear bottleneck之后)。
SEnet中，se模塊及其在resnet中的放置位置如下
https://github.com/hujie-frank/SENet/tree/master/models
2、在之前的網絡結構中，最后會用一個1*1來提高特征圖數目（960->1280），為了提速，將這個1*1層移至average pooling之后，如下圖
3、在初使結構中，通常輸出的是32維通道(3->32)，這里輸出16維通道，並使用hswish替代relu
4、除了hswish，還使用了h-sigmoid（將h-swish中第一個乘x去掉），用來替換se中的sigmoid結構
5、在se結構中，壓縮系數為4，精度最高
6、V3-large
參考實現：https://github.com/xiaolai-sqlai/mobilenetv3