論文閱讀:EGNet: Edge Guidance Network for Salient Object Detection


論文地址:http://openaccess.thecvf.com/content_ICCV_2019/papers/Zhao_EGNet_Edge_Guidance_Network_for_Salient_Object_Detection_ICCV_2019_paper.pdf

當前方法的問題

  全卷積網絡解決了像素標記問題,出現了幾種用於顯着物體檢測的端到端深度架構。 輸出顯着性圖的基本單位從圖像區域開始變成每個像素。 一方面,由於每個像素都有其顯着性值,結果突出顯示了細節。 但是,它忽略了對SOD重要的結構信息。隨着網絡感受野的增加,顯著性物體的位置越來越准確,但是空間連貫性仍然被忽略了。顯著邊緣信息和顯著物體信息的互補性也沒有被注意到。

 

怎么解決這個問題

  利用顯著邊緣特征幫助顯著物體特征更准確的定位物體(尤其是邊界)。

  動機:良好的顯着邊緣檢測結果可以在分割和定位方面幫助顯着對象檢測任務,反之亦然

 

網絡結構

 

  使用VGG16的去全連接層的部分,由於第一個卷積塊離輸入近且感受野小,扔掉不用,在第五個卷積塊后增加第六個卷積塊。

1.漸進顯著性物體特征提取:

  PSFEM模塊。為了獲取魯棒性更好的顯著物體特征,在每條支路后面增加三個卷積層,每個卷積層后有一個RELU層,再通過一個卷積層將將特征圖轉換成單通道的預測圖。具體參數見表1。

  

2.非局部顯著邊緣特征提取

  通過conv2-2提取局部邊緣信息。自頂向下將頂層的位置信息傳播到第二層。融合的第二層特征如下

  

   表示為了改變特征通道數的卷積層,表示ReLU激活函數,是將輸入上采樣到C(2)大小的雙線性插值操作。為了簡便,用來表示表示第六層經過增強之后的特征,第六層的增強操作可以表示為,第三、四、五層的增強特征可以這樣計算,

  

  表示卷積中的參數,表示一系列的卷積操作。在得到后,同樣進行一系列卷積處理得到最終顯著邊緣特征,可以這樣表示記做

3.一對一引導模塊

  利用顯著邊緣特征引導顯著物體特征在分割和定位上表現的更好。直接融合顯著邊緣特征和多分辨率顯著物體特征時,邊緣特征會被淡化,於是采用一對一引導。在每一層將顯著邊緣特征融合到增強的顯著物體特征中去,使高層特征的定位更加准確,對每層的增強后的顯著物體特征上采樣后與顯著邊緣特征相融合,得到顯著邊緣引導特征s-feature,具體操作如下。

   

  與PSFEM類似,對每一層的融合特征進行一系列的卷積操作,然后轉換成單通道預測圖,通過公式3,得到增強后的s-feature

 

損失函數

  顯著邊緣特征部分的損失函數,分別表示顯著邊緣像素集合和背景像素集合,看源碼發現應該是對每個GT都提取了邊緣,用來監督邊緣圖的生成。是手動計算一個權值之后,計算交叉熵損失(F.binary_cross_entropy_with_logits),后面計算損失也全是調用這個函數。

  

  顯著物體檢測的損失函數,分別表示顯著區域像素集合和非顯著區域像素集合,

  

  特征提取部分的總損失函數:

  

  對每層得到的輸出預測圖計算損失,

  

  然后融合多尺度的預測圖得到一張融合圖,這一步的損失為:

  

  其中表示預測圖和GT的交叉熵損失,與公式5結構一樣。最后一對一引導模塊的損失和該方法的總損失函數如下。

  

 

實驗

  評價指標:F-measure:

  

  MAE:

  

  S-measure:

  

  對比結果:

  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM