U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection
當前方法的問題
使用VGG、ResNet等為圖像分類任務設計的網絡提取深層特征，但是，這些骨干網絡最初是為圖像分類任務設計的，它們提取的特征是代表語義意義的，而不是對顯著性檢測是必不可少的局部細節和全局對比度信息。並且這些網絡都需要在ImageNet數據集上預訓練，而這些數據都是低效的，尤其是當目標數據的分布和ImageNet分布不同的時候。
除此之外，這些方法都是在現有的骨干網絡上增加額外的特征聚合模塊，這樣會導致網絡過於復雜。
並且現有的骨干網絡通常通過犧牲高分辨率的特征圖來實現更深層次的架構，為了以可承受的內存和計算成本運行這些深度模型，在早期階段會將特征圖縮小到較低的分辨率，但是除了深層結構之外，高分辨率在分割中也起着重要的作用。
動機
能否設計一個新的用於顯著物體檢測的網絡，能允許從頭開始訓練，並取得與現有的基於預訓練的骨干網絡的模型相當或更好的性能。
能否在低內存和低計算成本的情況下，在保持高分辨率特征圖的同時，實現更加深的網絡架構
怎么解決這個問題
U2Net是一個兩層嵌套的Unet結構，是為顯著性檢測任務設計的， 沒有使用任何來自圖像分類的預訓練的骨干網絡。可以從零開始訓練，達到有競爭力的表現。
網絡結構
在介紹RSU殘差U形塊之前，先介紹一下不同的卷積塊的設計。局部和全局上下文信息對於顯著對象檢測和其他分割任務都非常重要。在VGG、ResNet這些網絡的設計中，1×1或者3×3大小的卷積是最常用的，因為它們需要更少的存儲空間，並且計算效率高。a-c展示的就是幾種典型的小感受野的卷積塊，這樣的設計的網絡淺層的輸出特征只包含局部特征，因為1×1或3×3的卷積感受野太小，捕捉不到全局信息。為了從淺層獲得更多的高分辨率特征圖的全局信息，最直接的想法是擴大感受野，圖d展示的就是利用膨脹卷積來提取局部和全局特征的結構，但是在高分辨率的圖像上進行多個膨脹卷積需要太多的計算和存儲資源。為了減少計算損失，有的方法選擇對下采樣后的特征使用金字塔池化模塊PPM提取全局特征。但是直接上采樣再concat或者相加不同尺度的特征可能會導致高分辨率特征的退化受Unet結構的啟發，作者設計了圖e這種殘差U形塊，其中Cin和Cout表示輸入和輸出通道，M表示RSU內層的通道數。RSU分成三個部分，首先是一個輸入卷積層，卷積核大小是3×3，作用是將輸入特征圖的通道數轉換成Cout大小。然后經過一個高度為L的類似Unet的對稱編解碼結構。更大的L會有更深的RSU塊，更多的池化操作，更大范圍的感受野和更豐富的局部和全局特征。使用不同L的RSU可以從具有任意空間分辨率的輸入特征圖中提取多尺度特征。多尺度特征從逐漸下采樣的特征圖中提取，並通過逐漸上采樣、拼接和卷積編碼成高分辨率特征圖。該過程減輕了由大規模直接上采樣引起的精細細節的損失。第三步殘差連接，也就是計算局部特征和多尺度特征的和。
為了說明這種結構的好處，將RSU和原始的殘差塊進行對比，可以發現主要區別在於RSU用一個類似Unet的結果代替了普通的單流卷積，原始殘差塊的輸出是輸入的原始特征加上局部特征，而殘差U型塊用權重變換的多尺度特征代替了原始特征，這種設計使網絡能直接的從每個殘差塊提取多尺度特征
更值得注意的是，由於U型結構導致的計算開銷很小，這是因為大多數操作是對下采樣的特征進行。這張圖展示的是之前那張圖中的其他4種不同的特征提取模塊結構和本文提出的RSU結構的計算成本比較，通過這張圖可以看出，DSE也就是密集連接的結構，和INC也就是利用膨脹卷積擴大感受野的類似GoogleNet inception的結構和RSU的浮點操作都隨着內部通道數的增加而二次增長，是二次函數U關系。但RSU在二次項上的系數要小得多。它的計算開銷與普通卷積塊(PLN)和殘差塊(RES)(這兩種線性增長的計算開銷)相比並不顯著。
前4個stage的特征的分辨率是比較高的，分辨率搞的特征圖使用更大的L來捕捉大尺度的信息，前四個編碼器的高度分別是7/6/5/4，第5/6個stage中由於分辨率已經很低了，進一步下采樣會導致信息的丟失，所以采用膨脹卷積代替池化和上采樣操作，回去看圖。解碼器和編碼器的結構是類似的，不過解碼器的輸入是其前一級的特征上采樣和對稱的編碼器特征級聯得到的。最后一步通過3×3卷積的得到6個解碼器的側邊輸出顯著性圖，並融合得到融合的顯著性圖。
損失函數采用的標准的二元交叉熵損失。
實驗
