行人檢測具有極其廣泛的應用:智能輔助駕駛,智能監控,行人分析以及智能機器人等領域。從2005年以來行人檢測進入了一個快速的發展階段,但是也存在很多問題還有待解決,主要還是在性能和速度方面還不能達到一個權衡。近年,以谷歌為首的自動駕駛技術的研發正如火如荼的進行,這也迫切需要能對行人進行快速有效的檢測,以保證自動駕駛期間對行人的安全不會產生威脅。
1 行人檢測的現狀
大概可以分為兩類
1.1 基於背景建模
利用背景建模方法,提取出前景運動的目標,在目標區域內進行特征提取,然后利用分類器進行分類,判斷是否包含行人;背景建模目前主要存在的問題:
1)必須適應環境的變化(比如光照的變化造成圖像色度的變化);
2)相機抖動引起畫面的抖動(比如手持相機拍照時候的移動);
3)圖像中密集出現的物體(比如樹葉或樹干等密集出現的物體,要正確的檢測出來);
4)必須能夠正確的檢測出背景物體的改變(比如新停下的車必須及時的歸為背景物體,而有靜止開始移動的物體也需要及時的檢測出來)。
5)物體檢測中往往會出現Ghost區域,Ghost區域也就是指當一個原本靜止的物體開始運動,背靜差檢測算法可能會將原來該物體所覆蓋的區域錯誤的檢測為運動的,這塊區域就成為Ghost,當然原來運動的物體變為靜止的也會引入Ghost區域,Ghost區域在檢測中必須被盡快的消除。
1.2 基於統計學習的方法
這也是目前行人檢測最常用的方法,根據大量的樣本構建行人檢測分類器。提取的特征主要有目標的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經網絡、SVM、adaboost以及現在被計算機視覺視為寵兒的深度學習。
統計學習目前存在的難點:
1)行人的姿態、服飾各不相同、復雜的背景、不同的行人尺度以及不同的光照環境。
2)提取的特征在特征空間中的分布不夠緊湊;
3)分類器的性能受訓練樣本的影響較大;
4)離線訓練時的負樣本無法涵蓋所有真實應用場景的情況;
目前的行人檢測基本上都是基於法國研究人員Dalal在2005的CVPR發表的HOG+SVM的行人檢測算法(Histograms of Oriented Gradients for Human Detection, Navneet Dalel,Bill Triggs, CVPR2005)。HOG+SVM作為經典算法也集成到opencv里面去了,可以直接調用實現行人檢測
為了解決速度問題可以采用背景差分法的統計學習行人檢測,前提是背景建模的方法足夠有效(即效果好速度快),目前獲得比較好的檢測效果的方法通常采用多特征融合的方法以及級聯分類器。(常用的特征有Harry-like、Hog特征、LBP特征、Edgelet特征、CSS特征、COV特征、積分通道特征以及CENTRIST特征)。
2 綜述類的文章
2.1 行人檢測十年回顧
Ten Years of Pedestrian Detection, What Have We Learned?
一篇2014年ECCV的文章,是對pedestrian detectiond過去十年發展的回顧,從dataset,main approaches的角度分析了近10年的40多篇論文提出的方法,並對提高feature復雜度的影響進行了評估
學習筆記:http://blog.csdn.net/mduke/article/details/46582443
2.2 P.Dollar PAMI 2012上的綜述
P.Dollar, C. Wojek,B. Schiele, et al. Pedestrian detection: an evaluation of the state of the art [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 743-761.
2012年PAMI上發表的一篇關於行人檢測的綜述性文章,PDF格式,共20頁,對常見的16種行人檢測算法進行了簡單描述,並在6個公開測試庫上進行測試,給出了各種方法的優缺點及適用情況。另外,指出了未來行人檢測的發展方向和趨勢。
下載:http://vision.ucsd.edu/~pdollar/files/papers/DollarPAMI12peds.pdf
2.3 CVPR2010 HOF和CSS
https://www.d2.mpi-inf.mpg.de/CVPR10Pedestrians
New Features and Insights for Pedestrian Detection
文中使用改進的HOG,即HOF和CSS(color self similarity)特征,使用HIK SVM分類器。 本文的作者是德國人:Stefen Walk。目前Stefan Walk在蘇黎世聯邦理工大學任教。
2.4 Integral Channel Features
加州理工學院2009年行人檢測的文章:Integral Channel Features(積分通道特征)
這篇文章與2012年PAMI綜述文章是同一作者。作者:Piotr Dollar
Paper下載:http://pages.ucsd.edu/~ztu/publication/dollarBMVC09ChnFtrs_0.pdf
中文筆記:http://blog.csdn.net/carson2005/article/details/8455837
2.5 The Fastest Pedestrian Detector in the West
Dollar 在 2010 年 BMVC 的 《The fastest pedestrian detector in the west》 一文中提出了一種新的思想,這種思想只需要訓練一個標准 model,檢測 N/K(K ≈10) 然后其余的 N-N/K 種大小的圖片的特征不需要再進行這種復雜的計算,而是跟據這 N/K 次的結果, 由另外一種簡單的算法給估計出來,這種思想實現的 基礎是大小相近的圖像的特征可以被足夠精確的估計出來
下載:http://vision.ucsd.edu/sites/default/files/FPDW_0.pdf
2.6 DPM算法做目標檢測
CVPR2008:A Discriminatively Trained, Multiscale, Deformable Part Model
PAMI2010:Object Detection with Discriminatively Trained Part Based Models
CVPR2010:Cascade Object Detection with Deformable Part Models
以上三篇文章,都是作者研究DPM算法做目標檢測的文章,有源代碼可以下載。
作者的個人主頁:http://cs.brown.edu/~pff/papers/
2.7 利用DPM模型,檢測粘連
Detection and Tracking of Occluded People
IJCV2014年的文章,利用DPM模型,檢測粘連情況很嚴重的行人,效果很好。
下載:http://www.bmva.org/bmvc/2012/BMVC/paper009/
2.8 UDN算法
ICCV2013:
1)Joint Deep Learning for Pedestrian Detection
2)Multi-Stage Contextual Deep Learning for Pedestrian Detection
簡 稱UDN算法,從文中描述的檢測效果來看,該方法是所有方法中最好的,並且,效果遠超過其他方法。經過對論文和該算法源碼的研究,該算法是與作者另外一篇 論文的方法 ,另外的論文算法做圖片掃描,得到矩形框,然后用該方法對矩形框進行進一步確認,以及降低誤警率和漏警率。另外的論文是:Multi-Stage Contextual Deep Learning for Pedestrian Detection。
這篇文章是用深度學習的CNN做candidate window的確認。而主要的行人檢測的算法還是HOG+CSS+adaboost。
香港中文大學,Joint Deep Learning for Pedestrian Detection,行人檢測論文的相關資源:http://www.ee.cuhk.edu.hk/~wlouyang/projects/ouyangWiccv13Joint/index.html
2.9 Monocular pedestrian detection
Enzweiler, and D.Gavrila. Monocular pedestrian detection: survey and experiments [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(12): 2179-2195.
下載:http://www.gavrila.net/pami09.pdf
2.10 Survey of pedestrian detection for advanced driver assistance systems
Geronimo, A. M.Lopez and A. D. Sappa, et al. Survey of pedestrian detection for advanced driver assistance systems [J]. IEEE Transactionson Pattern Analysis and Machine Intelligence, 2010, 32(7): 1239-1258.
2.11 Vision-based Pedestrian Protection Systems for Intelligent Vehicles
Geronimo, and A. M.Lopez. Vision-based Pedestrian Protection Systems for Intelligent Vehicles, BOOK, 2014.
下載:http://bookzz.org/book/2167094/e21639
2.12 行人檢測技術綜述
蘇松志, 李紹滋, 陳淑媛等. 行人檢測技術綜述[J]. 電子學報, 2012, 40(4): 814-820.
下載:行人檢測技術綜述
2.13 車輛輔助駕駛系統中基於計算機視覺的行人檢測研究綜述
賈慧星, 章毓晉.車輛輔助駕駛系統中基於計算機視覺的行人檢測研究綜述[J], 自動化學報, 2007, 33(1): 84-90.
2.14 行人檢測系統研究新進展及關鍵技術展望
許言午, 曹先彬,喬紅. 行人檢測系統研究新進展及關鍵技術展望[J], 電子學報, 2008, 36(5): 368-376.
2.15 基於視覺的人的運動識別綜述
杜友田; 陳峰;徐文立; 李永彬;基於視覺的人的運動識別綜述, 電子學報, 2007. 35(1): 84-90.
2.16 基於機器學習的行人檢測關鍵技術研究
朱文佳. 基於機器學習的行人檢測關鍵技術研究[D]. 第一章, 碩士學位論文, 上海交通大學. 2008. 指導教師: 戚飛虎.
參考:http://hi.baidu.com/susongzhi/item/085983081b006311eafe38e7