Overview
What is Optical Flow?
光流（optic flow）是什么呢？名字很專業，感覺很陌生，但本質上，我們是最熟悉不過的了。因為這種視覺現象我們每天都在經歷。從本質上說，光流就是你在這個運動着的世界里感覺到的明顯的視覺運動（呵呵，相對論，沒有絕對的靜止，也沒有絕對的運動）。例如，當你坐在火車上，然后往窗外看。你可以看到樹、地面、建築等等，他們都在往后退。這個運動就是光流。而且，我們都會發現，他們的運動速度居然不一樣？這就給我們提供了一個挺有意思的信息：通過不同目標的運動速度判斷它們與我們的距離。一些比較遠的目標，例如雲、山，它們移動很慢，感覺就像靜止一樣。但一些離得比較近的物體，例如建築和樹，就比較快的往后退，然后離我們的距離越近，它們往后退的速度越快。一些非常近的物體，例如路面的標記啊，草地啊等等，快到好像在我們耳旁發出嗖嗖的聲音。
光流除了提供遠近外，還可以提供角度信息。與咱們的眼睛正對着的方向成90度方向運動的物體速度要比其他角度的快，當小到0度的時候，也就是物體朝着我們的方向直接撞過來，我們就是感受不到它的運動（光流）了，看起來好像是靜止的。當它離我們越近，就越來越大（當然了，我們平時看到感覺還是有速度的，因為物體較大，它的邊緣還是和我們人眼具有大於0的角度的）。
- Given a set of points in an image, find those same points in another image.
- Or, given point [ux, uy]T in image I1 find the point [ux + δx, uy + δy]T in image I2 that minimizes ε:
- Tracking points (“features”) across multiple images is a fundamental operation in many computer vision applications:
- To find an object from one image in another.
- To determine how an object/camera moved.
- To resolve depth from a single camera. …or stereo.
GPU加速光流法
光流的計算較為耗時，以往我們能夠實時應用的光流基本都是稀疏光流（如Lucas Kanade光流法，可用於物體跟蹤等。其基本思想是提取一些好的特征點 GoodFeaturestoTrack，對這些特征點利用鄰域光流一致性的假設進行計算）。而稠密光流（Dense flow）則只是一種理論上的東西。
這樣的尷尬局面被GPU完全打破了！由於稠密光流是對每一個點均計算光流，而且每個點的計算工作基本是相同的，這樣的特點極易寫成並行程序。opencv3.0 實現的Dense flow 總共有5個，分別是： Brox，fastBM，LK，Farn以及TV-L1。下一篇文章會詳細介紹這些光流法的基本原理，這一篇本着先看工程效果的態度測試一下這些光流
Dense/sparse optical flow (with simple block matching, pyramidal LucasKanade, Brox, Farnebac, TV-L1) gpu::FastOpticalFlowBM(), ::PyrLKOpticalFlow, ::BroxOpticalFlow(), ::FarnebackOpticalFlow(), ::OpticalFlowDual_TVL1_GPU(), ::interpolateFrames()
Cuda Accelarated Optical Flow
OpenCV 3 LINK: http://docs.opencv.org/3.1.0/d7/d3f/group__cudaoptflow.html
Selected Paper
- Berthold K.P. Horn and Brian G. Rhunck. Determining Optical Flow. 1981.
- G. Farneback , “Two-frame Motion Estimation based on Polynomial Expansion”, 13th Scandinavian Conference, SCIA 2003 Halmstad, Sweden, June 29 – July 2, 2003.
- T. Brox, A. Bruhn, N. Papenberg, and J.Weickert. High accuracy optical flow estimation based on a theory for warping. In European Conference on Computer Vision (ECCV), pages 25–36, 2004.
- A. Bruhn, J.Weickert and C. Schn¨orr. Lucas/Kanade meets Horn/Schunk: combining local and global optical flow methods. International Journal of Computer Vision (IJCV), 61(3):211–231, 2005.
- C. Zach, T. Pock, H. Bischof. A duality based approach for realtime tv-l1 optical flow (2007)
- Javier Sánchez Pérez, Enric Meinhardt-Llopis, and Gabriele Facciolo, TV-L1 Optical Flow Estimation, Image Processing On Line,3 (2013), pp. 137–150. https://doi.org/10.5201/ipol.2013.26
- http://www.cs.toronto.edu/~fleet/research/Papers/flowChapter05.pdf
- A Database and Evaluation Methodology for Optical Flow (http://vision.middlebury.edu/flow/floweval-ijcv2011.pdf)
Selected Post & Repo
- Particle Video
- http://docs.opencv.org/3.2.0/d7/d8b/tutorial_py_lucas_kanade.html
- 光流Optical Flow介紹與OpenCV實現
- OPENCV3.0 GPU加速光流法（1）
- http://vision.middlebury.edu/flow/