[CVPR2017] Deep Self-Taught Learning for Weakly Supervised Object Localization 論文筆記

 http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_Deep_Self-Taught_Learning_CVPR_2017_paper.pdf

Deep Self-Taught Learning for Weakly Supervised Object Localization. Zequn Jie, Yunchao Wei, Xiaojie Jin, Jiashi Feng, Wei Liu

 

亮點

• 監督學習中用難例挖掘，弱監督中靠可靠樣本的挖掘，本文篩選可靠樣本的方法比較具有通用性
• 在線樣本收集，通過relative improvement指標，不斷提升弱監督馴練樣本的質量
• 本文是少數未采用預計算好的proposal，而采取自適應proposal的文章，可以根據網絡訓練情況來改變proposal

主要思想

問題：大多數現有的弱監督定位（WSL）方法通過對圖像級別的監督學習識別到的特征區塊來進行探測器的學習。然而，這些特征不包含空間位置的相關信息，同時對探測器的學習來說，其所提供的樣本數據質量都比較差。

 

解決方案：檢測器學習獲取可靠的樣本對象特征並以此為基礎重新訓練自己。相應的，隨着探測器本身檢測能力的提高和提供的位置信息質量的提高，於是便能進一步的提高較好質量的數據。

• 文中提出了一個種子樣本采集（Seed Sample Acquisition）方法，通過圖像到對象的傳輸和密集的子圖采集獲取可靠的正樣本來進行探測器的初始化。
• 提供了一種在線支持樣本收集（Online Supportive Sample Harvesting）計划來動態地選擇最為可信的正樣本，並提供成熟的訓練方法對探測器進行訓練。

 

方法

Seed Sample Acquisition

• Image-to-Object Transfer：Hypothesis-CNN-Pooling (HCP) [26]（見下方第一張圖）提出了一個 CNN 網絡 HCP 不需要真值訓練數據（只有單標簽訓練數據）的情況下可以完成對多標簽圖像分類問題。首先提取圖像中的候選區域，然后對每個候選區域進行分類，最后使用 cross-hypothesis max-pooling 將圖像中所有的候選區域分類結果進行融合，得到整個圖像的多類別標簽。（from https://blog.csdn.net/zhangjunhit/article/details/72818610）
• Reliable Seed Proposal Generation：選出上一步正類別對應的top N proposals，使用dense subgraph discovery (DSD) 的方法選出最空間上響應最集中的位置，見下方第二張圖。
• 之所以可行的原因：通過觀察發現[26]發現
• 結果多僅覆蓋了物體的關鍵部位，或者是一些重要的上下文
• 所有proposals基本上覆蓋了這個物體的絕大部分
• Dense subgraph discovery (DSD) problem
• 所有proposal為節點，如果他們之間的IOU大於某一閾值用一個邊邊將它們連起來，組成無向圖G。從某一節點開始采用貪心算法，找到當前邊邊最多的節點保存，刪除他周圍的所有鄰居節點，然后重復，知道沒有其他節點或者保存的節點數大於k。
• 好處：與 clustering或non-maximal suppression (NMS)比較，這種方法
• 保留的proposal數目是自適應的
• 與估計的分類分數無關

 

 

[26] Yunchao Wei, Wei Xia, Min Lin, Junshi Huang, Bingbing Ni, Jian Dong, Yao Zhao, and Shuicheng Yan. Hcp: A flexible cnn framework for multi-label image classification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(9):1901–1907, 2016.

 

 

Online Supportive Sample Harvesting (OSSH)

使用Fast RCNN框架進行訓練，首先使用seed samples預訓練網絡，此后使用OSSH漸進式的收集正樣本，並用收集到的正樣本繼續訓練。與Fast R-CNN相同，與選擇出的正樣本IoU大於0.5的proposals為正，其他為負。

• Relative improvement (RI)：對於一個proposal，RI指的是在下一個epoch該proposal未參與訓練前的測試得分，和當前epoch該proposal參與訓練后的測試得分之差。對於一張圖像，我們將所有proposals的RI降序排序，只選RI最大的propsal作為訓練的監督信號。具體定義，如下所述：

 

 

RI的靈感來源，如上圖。

Negative rejection (NR)：因為正例的質量不高， 使用OSSH訓練幾個epoch后，將所有正例按Fast R-CNN的得分排序，並在后續訓練中去除掉排名后10%的訓練樣本和它們對應的圖片。

 

偷個懶，結果還不錯，具體見原文鏈接～～