目標檢測學習筆記


目標檢測方法整理

經典方法包括:

基於region proposal的:

  • R-CNN
  • Fast R-CNN
  • Faster R-CNN
  • R-FCN

基於回歸方法的:

  • YOLO
  • SSD

region proposal方法

區域建議方法的主要思路是:找出可能的目標區域 + 提取目標區域特征 + 對目標區域分類 and 對目標Box回歸

R-CNN:

1.使用select search(ss)方法得到目標的可能區域,約2000個
2.對可能區域先變換到固定大小,再使用CNN提取特征
3.通過SVM對特征進行分類,得到目標類
4.通過回歸方法得到目標box
其模型結構圖如下:
R-CNN模型
其優勢是:不需要人工制定描述特征。
其問題是:訓練和檢測速度太慢。三部分需要單獨訓練。

Fast R-CNN:

針對R-CNN的速度慢問題,Fast R-CNN通過 ROI pooling和bounding box與classification的合並大大提高了訓練速度和檢測速度。

1.使用select search(ss)方法得到目標的可能區域ROI,約2000個
2.對圖片使用CNN提取特征
3.根據獲得的ROI,提取ROI特征,使用ROI池化到固定大小
4.對池化后結果使用CNN進行classification和regression
其結構模型如下圖:
Fast R-CNN
其優勢是:通過先CNN再ROI pooling的操作,大大減少了計算冗余;classification和regression操作都使用CNN來完成,且在一個模型中實現,為簡化訓練步驟打下基礎。
其問題是:速度仍然達不到實時,仍然需要額外的region proposal部分給出ROI,訓練也需要分開。

Faster R-CNN:

針對Fast R-CNN的不足,提出了Faster R-CNN。通過region proposal net(RPN)來實現區域提議,通過共享思想極大的提高了訓練和測試速度。

1.對圖像做CNN特征提取(共享卷積層)
2.使用RPN網絡提取ROI(RPN CNN,好像是兩層,有獨立的 \(E=L_score\)\(E=L_bbox\)),為提高定位精度使用了anchor box
3.使用2中獲得的ROI選擇1中的特征區域,進行classification和regression
其結構模型如下圖:
Faster R-CNN
其優勢是:區域提議、特征提取和分類回歸全部使用一個網絡完成,大大提高了訓練和檢測速度。網絡訓練使用交替訓練方法。
其問題是:仍然不能完全達到檢測

三者的關系與比較

三者的關系:

三者的比較:

圖表摘自Faster RCNN解析
基於區域提取方法的目標檢測,更進一步的研究可參考博客文章Faster R-CNN 深入理解 && 改進方法匯總

回歸方法

基於回歸方法的目標檢測,不需要預先給出或計算ROI。同時,將classification和bounding box regression放在一個網絡部分來完成,其損失函數其實是兩個損失函數的綜合。
否可以理解為其實是學習bounding box的位置,然后對bbox內物體按照概率分類?

YOLO

最大特點是不需要單獨的region proposal,直接用CNN網絡對圖像做處理,然后根據概率和非極大值抑制(NMS)過濾bbox。
1.對圖像resize后做網格分割(grid cell),分為特定大小(7x7)
2.對圖像做卷積,然后每個cell內預測兩個bbox並預估class概率
3.從772個bbox中過濾得出最終結果
其結構模型如下圖:
YOLO模型
其優勢是:不需要region proposal,速度很快,可達到實時。使用先訓練分類網絡,再訓練檢測模型的方法。
其問題是:定位精度不准,同時,對小目標的檢測,對密集目標的檢測很困難。主要原因是每個cell只預測兩個bbox。
為了克服YOLO的主要問題,引入了anchor概念及其他手段,在保證速度的前提下,精度也大大提高。主要手段如下:
YOLO vs YOLOv2
這里要注意,anchor概念的引入在mAP上表現的差異不大,但是在recall上增加約7%。具體可見原文獻

SSD

在速度上可比擬YOLO,在精度上追隨Faster R-CNN。主要特點是多層特征圖預測分類和bbox,其中bbox有多種尺度和比例。
1.圖像提取特征獲得多個層和多個scale的feature map
2.對每個feature map設定的default bbox進行回歸並預測class score(default bbox含有多種尺度和比例)
3.bbox過濾
其結構模型如下圖:
SSD模型
其優勢是:如上所述,快並且有較好的精度。
其問題是:default box的大小形狀需要預先人工設置,不能自動迭代。對小目標的檢測仍然不夠,可能是低層卷積的特征提取不夠導致的。

上述方法可以參考如下博文內的圖片:
比較


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM