作者 | 文永亮
研究方向 | 目標檢測、GAN
研究動機
這是一篇發表於CVPR2019的關於顯著性目標檢測的paper，在U型結構的特征網絡中，高層富含語義特征捕獲的位置信息在自底向上的傳播過程中可能會逐漸被稀釋，另外卷積神經網絡的感受野大小與深度是不成正比的，目前很多流行方法都是引入Attention（注意力機制），但是本文是基於U型結構的特征網絡研究池化對顯著性檢測的改進，具體步驟是引入了兩個模塊GGM(Global Guidance Module，全局引導模塊)和FAM(Feature Aggregation Module，特征整合模塊)，進而銳化顯著物體細節，並且檢測速度能夠達到30FPS。因為這兩個模塊都是基於池化做的改進所以作者稱其為PoolNet，並且放出了源碼：https://github.com/backseason/PoolNet
模型架構
兩個模塊：
-
GGM(Global Guidance Module，全局引導模塊)
我們知道高層語義特征對挖掘顯著對象的詳細位置是很有幫助的，但是中低層的語義特征也可以提供必要的細節。因為在top-down的過程中，高層語義信息被稀釋，而且實際上的感受野也是小於理論感受野，所以對於全局信息的捕捉十分的缺乏，導致顯著物體被背景吞噬，所以提出了GGM模塊，GGM其實是PPM（Pyramid Pooling module，金字塔池化模塊）的改進並且加上了一系列的GGFs（Global Guiding Flows，全局引導流），這樣做的好處是，在特征圖上的每層都能關注到顯著物體，另外不同的是，GGM是一個獨立的模塊，而PPM是在U型架構中，在基礎網絡（backbone）中參與引導全局信息的過程。 其實這部分論文說得並不是很清晰，沒有說GGM的詳細結構，我們可以知道PPM[7]的結構如下：
如果明白了這個的話，其實GGM就是在PPM的結構上的改進，PPM是對每個特征圖都進行了金字塔池化，所以作者說是嵌入在U型結構中的，但是他加入了global guiding flows（GGFs），即Fig1中綠色箭頭，引入了對每級特征的不同程度的上采樣映射（文中稱之為identity mapping），所以可以是個獨立的模塊。
簡單地說，作者想要FPN在top-down的路徑上不被稀釋語義特征，所以在每次橫向連接的時候都加入高層的語義信息，這樣做也是一個十分直接主觀的想法啊。
- FAM(Feature Aggregation Module，特征整合模塊)
特征整合模塊也是使用了池化技巧的模塊，如下圖，先把GGM得到的高層語義與該級特征分別上采樣之后橫向連接一番得到FAM的輸入b，之后采取的操作是先把b用{2,4,8}的三種下采樣得到藍綠紅特征圖然后avg pool（平均池化）再上采樣回原來尺寸，最后藍綠紅紫（紫色是FAM的輸入b）四個分支像素相加得到整合后的特征圖。
- 幫助模型降低上采樣（upsample）導致的混疊效應（aliasing）
- 從不同的多角度的尺度上縱觀顯著物體的空間位置，放大整個網絡的感受野
第二點很容易理解，從不同角度看，不同的放縮尺度看待特征，能夠放大網絡的感受野。對於第一點降低混疊效應的理解，用明珊師姐說的話，混疊效應就相當於引入雜質，GGFs從基礎網絡最后得到的特征圖經過金字塔池化之后需要最高是8倍上采樣才能與前面的特征圖融合，這樣高倍數的采樣確實容易引入雜質，作者就是因為這樣才會提出FAM，進行特征整合，先把特征用不同倍數的下采樣，池化之后，再用不同倍數的上采樣，最后疊加在一起。因為單個高倍數上采樣容易導致失真，所以補救措施就是高倍數上采樣之后，再下采樣，再池化上采樣平均下來可以彌補錯誤。
實驗結果
論文在常用的6種數據集上做了實驗，有ECSSD [8], PASCALS[9], DUT-OMRON [10], HKU-IS [11], SOD [12] and DUTS [13], 使用二值交叉熵做顯著性檢測，平衡二值交叉熵（balanced binary cross entropy）[14]作為邊緣檢測（edge detection）。
以下是文章方法跟目前state-of-the-arts的方法的對比效果，綠框是GT，紅框是本文效果。可以看到無論在速度還是精度上都有很大的優勢。
參考文獻
[1]. Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, and Jiaya Jia. Pyramid scene parsing network. In CVPR, 2017. 1, 3
[2]. Tiantian Wang, Ali Borji, Lihe Zhang, Pingping Zhang, and Huchuan Lu. A stagewise refinement model for detecting salient objects in images. In ICCV, pages 4019–4028, 2017. 1, 3, 6, 7, 8
[3].Nian Liu and Junwei Han. Dhsnet: Deep hierarchical saliency network for salient object detection. In CVPR, 2016.1, 2, 3, 7, 8
[4]. Qibin Hou, Ming-Ming Cheng, Xiaowei Hu, Ali Borji, Zhuowen Tu, and Philip Torr. Deeply supervised salient object detection with short connections. IEEE TPAMI, 41(4):815–828, 2019. 1, 2, 3, 5, 6, 7, 8
[5]. Tiantian Wang, Ali Borji, Lihe Zhang, Pingping Zhang, and Huchuan Lu. A stagewise refinement model for detecting salient objects in images. In ICCV, pages 4019–4028, 2017. 1, 3, 6, 7, 8
[6]. Tiantian Wang, Lihe Zhang, Shuo Wang, Huchuan Lu, Gang Yang, Xiang Ruan, and Ali Borji. Detect globally, refine locally: A novel approach to saliency detection. In CVPR, pages 3127–3135, 2018. 1, 3, 6, 7, 8
[7]. Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, and Jiaya Jia. Pyramid scene parsing network. In CVPR, 2017. 1, 3
[8]. Qiong Yan, Li Xu, Jianping Shi, and Jiaya Jia. Hierarchical saliency detection. In CVPR, pages 1155–1162, 2013. 1, 5, 8
[9]. Yin Li, Xiaodi Hou, Christof Koch, James M Rehg, and Alan L Yuille. The secrets of salient object segmentation. In CVPR, pages 280–287, 2014. 5, 7, 8
[10]. Chuan Yang, Lihe Zhang, Huchuan Lu, Xiang Ruan, and Ming-Hsuan Yang. Saliency detection via graph-based manifold ranking. In CVPR, pages 3166–3173, 2013. 5, 6, 7, 8
[11]. Guanbin Li and Yizhou Yu. Visual saliency based on multiscale deep features. In CVPR, pages 5455–5463, 2015. 2, 5, 6, 7, 8
[12]. Vida Movahedi and James H Elder. Design and perceptual validation of performance measures for salient object segmentation. In CVPR, pages 49–56, 2010. 5, 6, 7, 8
[13]. Lijun Wang, Huchuan Lu, Yifan Wang, Mengyang Feng, Dong Wang, Baocai Yin, and Xiang Ruan. Learning to detect salient objects with image-level supervision. In CVPR, pages 136–145, 2017. 5, 7, 8
[14]. Saining Xie and Zhuowen Tu. Holistically-nested edge detection. In ICCV, pages 1395–1403, 2015. 6