Learning Correspondence from the Cycle-consistency of Time
利用无监督的方式在视频数据中寻找一致性。 correspondence
在t时刻图像\(x_t\)的某一个patch \(p\),\(x_t\)的特征空间\(I_t\),\(p_t\)的特征空间\(x_t^p\).
\(\tau\)造作，给定图像特征I,和patch特征\(x_p\),可以在I中找到对应\(x_p\)的特征
cycle-consistency loss分三种
1.backward_forward loss
forward:
backward
cycle tracking
, 先往前，再回来
skip
， 跳到前面，再跳回来
sim
，跳到前面
loss
， 这两个patch 的feature map都在同一张图片上，所以不能直接算。
\(f: R^{c\cdot 30\cdot 30} * P^{c\cdot 10 \cdot 10} \to R^{900\cdot 100}\)
\(A(j\cdot i) = \frac{exp(x^I(j)^Tx^p(i))}{\sum_j exp(x^I(j)^Tx^p(i))}\)
\(g:R^{900*100}\to R^3\)
三个值对应2d变换和旋转，使用双线性采样,bilinear sampling 使用这三个值在I 中采样出新的patch feature map来。