Learning Correspondence from the Cycle-consistency of Time
利用無監督的方式在視頻數據中尋找一致性。 correspondence
在t時刻圖像\(x_t\)的某一個patch \(p\),\(x_t\)的特征空間\(I_t\),\(p_t\)的特征空間\(x_t^p\).
\(\tau\)造作，給定圖像特征I,和patch特征\(x_p\),可以在I中找到對應\(x_p\)的特征
cycle-consistency loss分三種
1.backward_forward loss
forward:
backward
cycle tracking
, 先往前，再回來
skip
， 跳到前面，再跳回來
sim
，跳到前面
loss
， 這兩個patch 的feature map都在同一張圖片上，所以不能直接算。
\(f: R^{c\cdot 30\cdot 30} * P^{c\cdot 10 \cdot 10} \to R^{900\cdot 100}\)
\(A(j\cdot i) = \frac{exp(x^I(j)^Tx^p(i))}{\sum_j exp(x^I(j)^Tx^p(i))}\)
\(g:R^{900*100}\to R^3\)
三個值對應2d變換和旋轉，使用雙線性采樣,bilinear sampling 使用這三個值在I 中采樣出新的patch feature map來。