作者：Danny明澤
來源：公眾號@3D視覺工坊
公眾號后台回復「LRNNet」，即可獲得論文下載鏈接。
簡介：語義分割可以看作是一種按像素分類的任務，它將特定的預定義類別分配給圖像中的每個像素。該任務在自動駕駛和圖像編輯等方面具有廣泛的應用前景。近年來，輕量化神經網絡的發展促進了資源約束的深度學習應用和移動應用。其中許多應用都需要使用輕量化網絡對語義分割進行實時、高效的預測。為了實現高效、實時的分割，本文提出了一種基於精簡非局部模塊(LRNNet)的輕量級網絡。為了實現更輕、更高效、更強大的特征提取，在resnet-style的編碼器中提出了分解卷積塊。同時，提出的非局部縮減模塊利用空間區域的奇異向量來實現更有代表性的非局部特征縮減集成，計算量和存儲成本都大大降低。實驗證明了模型在輕量級、速度快、靈敏度和准確度之間的優勢權衡。LRNNet在沒有額外處理和預訓練的情況下，僅使用精細標注的訓練數據，在GTX 1080Ti卡上參數為0.68M和71FPS，在Cityscapes測試數據集上達到72.2%mIoU。本文中最值得關注的是FCB塊：一個輕量級的分解卷積塊(FCB)來建立一個特征提取網絡(編碼器)，如下圖所示。分別對長程特征和短程特征進行分解卷積處理，並提出了一種具有廣義奇異向量的非局部模塊來建模長程相關性和全局特征選擇，從而實現分割結果的一致性。
本文主要貢獻：1）本文提出了一種分解卷積塊(FCB)，通過更恰當地處理長程和短程特征，建立了一種輕量級、功能強大、效率高的有限元分析提取網絡。2）提出非局部模塊（SVN），利用區域奇異向量產生更有代表性的特征來建模遠程依賴和全局特征選擇。3）在Cityscapes和Camvid數據集上的LRNNet的參數大小、速度、計算和精確度之間的權衡最好。方法：預備知識：奇異值分解SVD等。
LRNNet:
如上圖所示為輕量級編碼器，它是一個三階段resnet-style網絡並且帶有分解卷積塊。
分解卷積塊：分解卷積塊是實現輕量化分割的常用方法。例如，擴張卷積增大感受野也是語義分割模型的重要組成部分。由於一維因子分解核函數更適合於空間信息特征。考慮到一個3×3卷積核被一個3×1和1×3卷積核取代，這樣可以有相同的接收域和更少的參數。但是，如果忽略在兩個1D卷積核之間交叉激活函數所造成的信息損失，它可能是3 - 3卷積核的秩近似1。假設空間語義不同區域具有不同的特性，如果卷積核的擴張率是1或小，卷積核可能不跨多個不同的空間語義區域，接受特征信息較少，因此秩近似可能更有效，反之亦然。
因此，大擴張的卷積核在空間上會接收到復雜且具有空間信息的遠距離特征，在空間上需要更多的參數。同時，擴張小的卷積核在空間上會得到信息簡單或信息較少的短期特征，空間上的參數也較少。如上圖所示，FCB第一處理短程和空間信息特征分成兩組1 d卷積通道連接，所以映像卷積減少了參數和計算。擴大接受域，與更大的擴張和FCB的利用2d核使用切除分離卷積來減少參數和計算。由於點卷積后有殘差連接，最后設置了信道洗牌操作。總的來說，FCB對近距離特征采用一維低秩近似，對遠距離特征采用深度空間二維擴張核，使得特征提取更加輕量級、更加豐富和強大。SVN模塊：
一個輕量級的模型很難實現強大的特征提取。生成精簡的、魯棒的、有代表性的特征並將其結合成非局部模塊是探索高效的非局部輕權重語義分割機制的重要途徑。如上圖所示，采用Conv1和Conv2兩種方法降低了代價，這兩種方法形成了瓶頸：將非局部操作的簡化通道和用其區域優勢奇異向量替換鍵和值。提出的SVN包括兩個分支：較低的分支是來自輸入的殘余連接。上層分支是簡化非局部操作的瓶頸，將特征圖划分為空間子區域。SVN模塊通過瓶頸結構和約簡並具有代表性的區域優勢奇異向量形成了一個約簡有效的非局部運算。區域優勢奇異向量是特征圖區域最具代表性的特征向量。實驗結果：Cityscapes驗證集的可視化結果：
對Cityscapes驗證集進行評估，包括准確性、推理時間、參數大小和計算量：
在Cityscapes測試集上的評價：
總結：本文提出了一種用於實時語義分割的LRNNet。提出的FCB單元探索了一種分解卷積塊來處理近程和遠程特征，為LRNNet編碼器提供了輕量級、高效和強大的特征提取。SVN模塊利用區域優勢奇異向量構造有效的降低非局部運算，以非常低的代價來增強譯碼器。實驗結果驗證了模型在參數大小，速度，計算和精度之間本文僅做學術分享，如有侵權，請聯系刪文。