目前的SR任務都是將真實圖像進行下采樣得到成對數據集進行訓練,這樣的訓練會造成與真實情況存在domain gap。因此本文針對這個問題提出了用不成對的數據進行一種偽監督訓練。感覺本質上就是通過CycleGAN學到HR圖像y到LR圖像x的映射,但此時得到y對應的LR圖像與實際的x不是一樣的,因此稱為是“偽(pseudo)”的。用這樣生成的偽數據對訓練SR網絡。
目前用GAN來進行不成對SR的方法有兩種類型:Direct的方法直接用學習從LR到HR的映射,這種方法的缺點是非常重要的pixel-wise loss沒辦法使用;Undirect方法學習從HR到LR的一個映射,之后用生成的LR圖像訓練SR網絡,這種方法的缺點是生成的LR分布和真實分布之間會造成train-test discrepency。
在這篇文章里,用一個CycleGAN學習HR對應的LR圖像,並和真實的LR圖像一起訓練SR網絡。並且引入了針對$U_{Y\downarrow Y}\circ G_{XY\downarrow}(x)}$的discriminator,使上采樣模塊可以盡量接近真實圖像的上采樣結果。
個人感覺這個方法的一個問題是模型結構,loss都太復雜了....