（原）MobileNetV1

轉載請注明出處：

https://www.cnblogs.com/darkknightzh/p/9410540.html

論文：

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

網址：

https://arxiv.org/abs/1704.04861?context=cs

非官方的pytorch代碼：

https://github.com/marvis/pytorch-mobilenet

1. 深度可分離卷積

mobilenetV1使用的是深度可分離卷積（Depthwise Separable Convolution，DSC），DSC包含兩部分：depthwise convolution（DWC）+ pointwise convolution（PWC）。DWC對輸入的通道進行濾波，其不增加通道的數量，PWC用於將PWC不同的通道進行連接，其可以增加通道的數量。通過這種分解的方式，可以明顯的減少計算量。

如下圖所示，傳統的卷積（a），卷積核參數為${{D}_{K}}\centerdot {{D}_{K}}\centerdot M\centerdot N$，其中${{D}_{K}}$為卷積核大小，M為輸入的通道數，N為輸出的通道數。DWC（b）中卷積核參數為${{D}_{K}}\centerdot {{D}_{K}}\centerdot 1\centerdot M$，其中M個${{D}_{K}}\centerdot {{D}_{K}}$的核和輸入特征的對應通道進行卷積，如下式所示。PWC（c）中卷積核參數為$1\centerdot 1\centerdot M\centerdot N$，每個卷積核在特征維度上分別對輸入的M個特征進行加權，最終得到N個特征（M≠N時，完成了升維或者降維）。

${{\mathbf{\hat{G}}}_{k,l,m}}=\sum\limits_{i,j}{{{{\mathbf{\hat{K}}}}_{k,l,m}}\centerdot {{\mathbf{F}}_{k+i-1,l+j-1,m}}}$

傳統卷積的計算量為：

${{D}_{K}}\centerdot {{D}_{K}}\centerdot M\centerdot N\centerdot {{D}_{F}}\centerdot {{D}_{F}}$

DSC總共的計算量為：

${{D}_{K}}\centerdot {{D}_{K}}\centerdot M\centerdot {{D}_{F}}\centerdot {{D}_{F}}+M\centerdot N\centerdot {{D}_{F}}\centerdot {{D}_{F}}$

當使用3*3的卷積核時，DSC可將計算量降低為原來的1/8到1/9。

需要說明的是，DWC，PWC后面均有BN和ReLU。如下圖所示，傳統的卷積層為3*3conv+BN+ReLU，Depthwise Separable convolutions為3*3DWC+BN+ReLU+1*1conv+BN+ReLU。

2. 網絡結構

mobileNetV1的網絡結構如下圖所示。其中第一個卷積層為傳統的卷積；前面的卷積層均有bn和relu，最后一個全連接層只有BN，無ReLU。

mobileNetV1使用RMSprop訓練；由於參數很少，DWC使用比較小的或者不使用weight decay（l2 regularization）。

3. 寬度縮放因子（width multiplier）

文中引入了$\alpha $作為寬度縮放因子，其作用是在整體上對網絡的每一層維度（特征數量）進行瘦身。$\alpha $影響模型的參數數量及前向計算時的乘加次數。此時網絡每一層的輸入為$\alpha M$維，輸出為$\alpha N$維。此時DSC的計算量變為：

${{D}_{K}}\centerdot {{D}_{K}}\centerdot \alpha M\centerdot {{D}_{F}}\centerdot {{D}_{F}}+\alpha M\centerdot \alpha N\centerdot {{D}_{F}}\centerdot {{D}_{F}}$

$\alpha \in (0,1]$，典型值為1，0.75，0.5，0.25。

4. 分辨率縮放因子（resolution multiplier）

該因子即為$\rho $，用於降低輸入圖像的分辨率（如將224*224降低到192*192，160*160，128*128）。

此時DSC的計算量變為：

${{D}_{K}}\centerdot {{D}_{K}}\centerdot \alpha M\centerdot \rho {{D}_{F}}\centerdot \rho {{D}_{F}}+\alpha M\centerdot \alpha N\centerdot \rho {{D}_{F}}\centerdot \rho {{D}_{F}}$

5. pytorch代碼

pytorch代碼見參考網址中benchmark.py

class MobileNet(nn.Module):
    def __init__(self):
        super(MobileNet, self).__init__()

        def conv_bn(inp, oup, stride):    # 第一層傳統的卷積：conv3*3+BN+ReLU
            return nn.Sequential(
                nn.Conv2d(inp, oup, 3, stride, 1, bias=False),
                nn.BatchNorm2d(oup),
                nn.ReLU(inplace=True)
            )

        def conv_dw(inp, oup, stride):      # 其它層的depthwise convolution：conv3*3+BN+ReLU+conv1*1+BN+ReLU
            return nn.Sequential(
                nn.Conv2d(inp, inp, 3, stride, 1, groups=inp, bias=False),
                nn.BatchNorm2d(inp),
                nn.ReLU(inplace=True),
    
                nn.Conv2d(inp, oup, 1, 1, 0, bias=False),
                nn.BatchNorm2d(oup),
                nn.ReLU(inplace=True),
            )

        self.model = nn.Sequential(
            conv_bn(  3,  32, 2),   # 第一層傳統的卷積
            conv_dw( 32,  64, 1),   # 其它層depthwise convolution
            conv_dw( 64, 128, 2),
            conv_dw(128, 128, 1),
            conv_dw(128, 256, 2),
            conv_dw(256, 256, 1),
            conv_dw(256, 512, 2),
            conv_dw(512, 512, 1),
            conv_dw(512, 512, 1),
            conv_dw(512, 512, 1),
            conv_dw(512, 512, 1),
            conv_dw(512, 512, 1),
            conv_dw(512, 1024, 2),
            conv_dw(1024, 1024, 1),
            nn.AvgPool2d(7),
        )
        self.fc = nn.Linear(1024, 1000)   # 全連接層

    def forward(self, x):
        x = self.model(x)
        x = x.view(-1, 1024)
        x = self.fc(x)
        return x