FlowNet
Title: FlowNet: Learning Optical Flow with Convolutional Networks
Optical flow , 是根據兩個觀測瞬間之間的物體表面、形狀等的變化從而，計算出物體運動變化的一種方法。
CNN， 因為CNN的capability 足夠強大，所以可能通過 train 大量的data-label 的數據，train出一個CNN來學習data與label 之間的關系。
在一個video中給出相鄰的兩幀的frame, 如何判斷其中的 object motion。
首先給出一個最簡單的方案是：
將兩張image重疊起來，通過深度的網絡，自主地去學習。這種簡單的方法是 FlowNet-Simple
還有一個直接顯然的方案是：
將兩張image分別進行 convolution 操作，並且提取出高層次的feature， 針對 higher level feature 進行 correlation 的操作，
Correlation layer 詳細解釋：
對於兩個feature maps f1 和 f2， 可以針對feature maps 上的每一個pixels (actually is vector) ， 計算它們之間的correlation:
其中， O 代表是 位移量displacement。 D = 2*k + 1 ， 一次的c(x1, x2) 就有 C*D*D 次乘操作。
該操作類似 convolution， 它做的是將兩個 vector進行convoluted， 而不是像convolution 那樣利用一個filter對所有的pixels 進行convolution操作。
所以， correlation layer 的input是兩個C x W x H 的 feature maps ， output 是 一個 D2x W x H 的 new feature map。
因為CNN擅長通過conv layer和pooling 提取image中higher level的feature，但是pooling同時也會減去有用的信息，為了實現 pixel 級別的object motion 預測，需要一種新的方法， refinement.
Refinement 中引入了一個layer， upconvolutional layer， 操作包含unpooling （和pooling相反）和 convolution。
Refinement 結合來自network的不斷縮減的feature map和經過upsampled 之后的Flow prediction， 在這種方式下，保存了higher level的prediction信息且吸收network中feature map的信息。 在這種方法下，多次修正Flow prediction 出來的結果。
Training Tips：
1, 為了讓FlowNet適用於不同size的image， 沒有加入 FC layer
2, 網絡包含9個 stride為2的convolution layer 和 ReLU nonlinearity,
3, 在 correlation layer中，將d 設置為20 pixels， s1=1, s2=2
4, training loss 采用 endpoint error (EPE)， 是optical flow 評價的標准誤差公式。
其中(u, v) 是estimated flow ， (uGT, vGT) 是 ground truth optical flow。
5，因為本CNN使用Adam表現的比SGD更快速度收斂，使用Adam 作為optimization method，
6，fine tuning 階段， tips是先用 小learning rate （1e-6）訓練幾千輪， 然后在改用普通的learning rate (1e-4) 接着訓練。
Reference:
1， FlowNet: Learning Optical Flow with Convolutional Networks
2， Optimal Filter Estimation for Lucas-Kanade Optical Flow
3， https://en.wikipedia.org/wiki/Optical_flow