1.本文創新點:
提出了一個CNN,可以同時估計光流和視頻中模糊的隱藏幀
為了更好的研究連續幀的特性,在CNN模型中開發了一種時間清晰度。
2.算法介紹:
該算法包含optical flow estimation module, latent image restoration module, temporal sharpness piror.
optical flow estimation module為latent image restoration module提供運動信息,而latent frame restoration module又進一步優化了optical flow estimation module,讓它更准確。temporal sharpness prior可以從鄰域的幀探索出sharpness pixels,從而更好的進行幀的恢復。所有模型在統一的框架里以端到端的方式統一訓練。
optical flow estimation通過PWC-Net進行計算。
Latent frame restoration module用差分模型重建latent frame,用一個deep CNN模型重建latent frame Ii
用雙線性插值計算wraped frames。
temporal sharpness prior module:定義評分標准:
如果接近1,則像素越清晰,用S來幫助深度神經網絡區分一個像素是否清晰,並且幫助latent frame恢復。為了增強S的魯棒性,定義了D:
定義latent frame 重建: