快速稀疏角點光流框架(Fast sparse corner optical flow framework)


光流適用在連續的圖像系列(視頻流)中,描述本身或畫面目標的運動狀態;在目標跟蹤、運動分析、甚至slam中都有廣泛應用。

 

opencv里就有不少光流算法,其中很經典也是當前被調用最多的的Lucas-Kanade算法;參看

calcOpticalFlowPyrLK(...)

 

2006年,Edward Rosten在各種慢速角點檢測中給出了一種快速角點檢測方案,取名FAST;后續也有相關改進。

http://www.edwardrosten.com/work/fast.html

http://www6.in.tum.de/Main/ResearchAgast

可以參看opencv

FastFeatureDetector

FAST角點重點強調速度快,角點的質量不如Harris、SIFT、SURF等慢速角點;可是天下那啥,為快不破,於是火了,在各種實時系統中或追求速度的系統中,都有他的身影,甚至隨后還發展了不少與之配套的二值特征描述ORB,BRIEF,BRISK等。

 

2014年,Matthieu Garrigues,Video Extruder A real-time semi dense point tracker,給出了一種基於FAST的光流方法,速度+性能很是驚艷。其中為每個FAST角點制定16維灰度描述,梯度下降搜索,以及塊光流估計是其成功的亮點。不過他不關注角點分布。

Video%20Extruder%20A%20real-time%20semi%20dense%20point%20tracker

 

2017年CVPR,有篇文章JiaWang Bian,GMS: Grid-based Motion Statistics for Fast, Ultra-Robust Feature Correspondence;介紹如果更好的篩選匹配點。其中本質的思想就是局部剛體約束,處在同一局部的特征點要有一致性運動(光流),否則剔除;該方法在一些復雜運動目標,或孤立點對上,有局限性。

https://github.com/JiawangBian/GMS-Feature-Matcher

有了上面種種,在實際應用中,希望角點稀疏的同時,盡可能均勻分布在畫面的各個區域(對SLAM特別有好處);於是設計如下方案:
1. 金字塔結構(有下往上匹配)-> 滿足快速運動目標
2. FAST角點,網格濾波,盡量均勻分布 -> 稀疏,但均勻,可設定期望角度數,demo展示默認2048個
3. 16維梯度描述 + 梯度下降搜索 -> 相比Matthieu Garrigues,描述提取可以更簡單
4. 局部方向一致性約束 -> 類GMS約束
5. 自動FAST角點補缺 -> 維持稀疏下的稠密度,保證有期望數目的種子點去做后續跟蹤

Demo介紹:

運行程序,可以看到界面;
[V] - 快捷鍵,選擇測試視頻流

[C] - 快捷鍵,打開usb攝像頭

選擇測試數據,即可看到相關效果。

DEMO下載鏈接
http://pan.baidu.com/s/1bo203fx

如果運行出錯,請自行安裝VC_RedistInstaller.exe

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM