圖像超分辨率算法：CVPR2020
Unpaired Image Super-Resolution using Pseudo-Supervision
論文地址：
摘要
在大多數基於學習的圖像超分辨率（SR）研究中，成對訓練數據集是通過使用預定操作（例如，雙三次）縮小高分辨率（HR）圖像的尺度來創建的。然而，這些方法並不能很好地解決現實世界中的低分辨率（LR）圖像，其退化過程更為復雜和未知。在這篇文章中，提出了一種使用生成性對抗網絡的非配對SR方法，該網絡不需要成對/對齊的訓練數據集。該網絡由非配對核/噪聲校正網絡和偽配對隨機共振網絡組成。校正網絡去除噪聲，調整輸入的LR圖像的核，然后用SR網絡對校正后的干凈LR圖像進行上標度。在訓練階段，校正網絡還從輸入的HR圖像生成偽干凈LR圖像，然后由SR網絡成對地學習從偽干凈LR圖像到輸入的HR圖像的映射。由於的SR網絡獨立於校正網絡，因此可以將研究得很好的現有網絡結構和像素級損耗函數與所提出的框架集成起來。在不同數據集上的實驗表明，該方法優於現有的求解非配對隨機共振問題的方法。
一. 概述
圖像超分辨率（SR）是低分辨率（LR）觀測重建高分辨率（HR）圖像的基本不適定問題。近年來，基於深度學習的學習方法的研究取得了很大的進展，極大地提高了SR的學習效果，從實踐的角度引起了人們的關注。然而，在許多研究中，訓練圖像對是通過對HR圖像的預定降尺度操作（例如，雙三次）生成的。這種數據集准備方法在現實場景中不實用，因為通常沒有與給定LR圖像對應的HR圖像。
最近的一些研究提出了克服HR-LR圖像對缺失的方法，如盲SR方法[39，12，57]和基於生成性對抗網絡（GAN）的非配對SR方法[51，4，56，32]。盲SR算法的目的是從任意核退化的LR圖像中重建HR圖像。盡管最近的研究已經實現了對有限形式的退化（例如模糊）的“盲”，但真實的LR圖像並不總是用這種退化來表示；因此，它們在由不期望的過程退化的圖像上表現得很差。相比之下，基於GAN的非配對SR方法可以直接學習LR到HR圖像的映射，而無需假設任何退化過程。GANs通過生成器和鑒別器之間的minimax博弈學習生成與目標域分布相同的圖像[11，37]。基於GAN的非配對SR方法可以根據它們是從LR圖像（直接方法；圖2a）還是HR圖像（間接方法；圖2b）開始粗略分類。
直接接近
在這種方法中，生成器上標度源LR圖像以愚弄HR鑒別器[51]。這種方法的主要缺點是像素級的損耗函數不能用來訓練發電機，即SR網絡。在成對SR方法中，重建圖像和HR目標圖像之間的像素損失不僅在面向失真的方法中起着關鍵作用，而且在面向感知的方法中也起着關鍵作用[28，2]。
間接法
在這種方法中，生成器將源HR圖像縮小以愚弄LR鑒別器[4，32]。生成的LR圖像然后用於成對地訓練SR網絡。這種方法的主要缺點是，生成的LR分布與真實LR分布之間的偏差會導致列車測試差異，降低測試時間性能。
二．本文方法與貢獻
將整個網絡分為一個未配對的核/噪聲校正網絡和一個偽配對的SR網絡（圖3）。校正網絡是基於CycleGAN[58]的未配對LR↔ 清除LR平移。SR網絡是成對的清除LR→HR映射，其中清除LR圖像是通過使用預定操作縮小HR圖像的尺度來創建的。在訓練階段，校正網絡還通過首先將干凈的LR圖像映射到真實的LR域，然后將其拉回到干凈的LR域來生成偽干凈的LR圖像。學習SR網絡以成對的方式從偽干凈的LR圖像重建原始的HR圖像。
該方法具有以下兩個優點，取得了優於現有方法的效果：
（1）由於校正網絡不僅訓練生成的LR圖像，而且通過雙向結構訓練真實的LR圖像，生成的LR分布與真實LR分布之間的偏差不會嚴重降低測試時間性能。
（2） 任何現有的SR網絡和像素損失函數都可以集成，因為SR網絡是分開的，能夠以成對的方式學習。
三．相關工作
訓練數據、網絡結構和目標函數是學習型深度網絡的三個基本要素。配對圖像SR是在理想訓練數據存在的前提下，對網絡結構和/或目標函數進行優化以提高性能。然而，在許多實際情況下，缺乏訓練數據（即，對應於源LR圖像的目標HR圖像）。最近對盲圖像和非配對圖像SR的研究已經解決了這個問題。作為另一種方法，最近的一些工作[7，54，5]使用專用硬件和數據校正過程構建了真實的成對SR數據集，這是難以擴展的。
1. 成對圖像超分辨率
在大多數SR研究中，配對訓練數據集是通過使用預定操作（例如，雙三次）縮小HR圖像的尺度來創建的。自第一個基於卷積神經網絡（CNN）的SR網絡[9]以來，人們提出了各種SR網絡來提高LR到HR的重建性能。早期的研究[20，30]發現一個更深的網絡在殘差學習中表現得更好。提出的殘差信道注意網絡（RCAN）[55]進一步提高了深度和性能。還研究了上尺度策略，如LapSRN的漸進上尺度[26]和DBPN的迭代上尺度和下尺度[13]。在這些研究中，一個簡單的L1或L2距離被用作目標函數，但是知道這些簡單的距離單獨導致模糊的紋理。為了提高感知質量，SRGAN[28]引入了感知損失[18]和對抗性損失[11]，實現了更令人滿意的視覺效果。ESRGAN[44]是SRGAN的增強版本，是最先進的感知定向模型之一。
2. 盲圖像超分辨率
盡管盲圖像SR在實際應用中具有重要的意義，但它的研究卻相對較少。對盲隨機共振的研究通常集中在對模糊核盲的模型上[34，38，39，12，57]。例如，ZSSR[39]利用單個圖像中信息的重復性來提升具有不同模糊核的圖像，IKC[12]使用中間輸出迭代地糾正模糊核的不匹配。關於盲隨機共振的研究很少涉及模糊盲隨機共振之外的組合退化問題（即附加噪聲、壓縮偽影等），而針對具體的退化問題提出了幾種盲方法，如去噪[23]和運動去模糊[35，24]。
3. 未配對圖像超分辨率
最近的一些工作在不使用成對訓練數據集的情況下解決了SR問題。與CycleGAN[58]和DualGAN[49]等未配對的翻譯方法不同，未配對的SR旨在保持風格和局部結構的同時，提高源LR圖像的質量。Bulat等人 [4] 以及Lugmayr等人 [32]首先訓練一個從高到低的退化網絡，然后使用退化的輸出訓練一個從低到高的SR網絡。袁等人 [51]提出了一種周期內網絡來同時學習退化網絡和SR網絡。與的方法不同的是，Yuan等人的退化網絡是確定性的，SR網絡與雙周期網絡相結合；因此，可用損失函數是有限的。Zhao等人[56]還利用雙向結構共同穩定退化網絡和SR網絡的訓練。類似於袁等人，趙等人的SR網絡。具有有限的自由度來選擇損失函數。
四．實驗測試
DIV2K真實野生數據集
使用了真實的野生集（軌道4）的NTIRE 2018超級分辨率挑戰[42]。逼真的野生集是通過降解DIV2K[41]生成的，它由不同內容的2K分辨率圖像組成。DIV2K有800張訓練圖片。真實野生集通過×4縮小、運動模糊、像素移動和噪聲添加來模擬真實的“野生”LR圖像。在單個圖像中，下降操作是相同的，但因圖像而異。為每個DIV2K訓練圖像生成四個下降的LR圖像（即總共3200個LR訓練圖像）。使用上述3200 LR和800 HR配對圖像訓練模型，但使用“未配對/未對齊”采樣。評估了100幅真實的野生驗證圖像的結果，因為沒有提供測試圖像的基本事實。
圖4顯示了所提出方法的中間圖像的可視化示例。
與最新盲法的比較
由於多重退化的盲隨機共振方法還沒有得到充分的研究，將隨機共振方法與盲恢復方法相結合作為基准（表1，圖5）。首先探索了最新的盲去噪方法：基於補丁的方法NC[27]和基於CNN的方法RL restore[50]。RL恢復性能優於NC。然后，基於RL恢復的輸出，比較了兩種基於CNN的盲去模糊方法SRN-Deblur[40]和DeblurGANv2[25]。這些去模糊方法的性能幾乎相當，但去模糊速度更快。最后，將三種最先進的SR方法與RL-restore和DeblurGAN-v2相結合：一種非盲SR方法DBPN[13]和兩種盲SR方法ZSSR[39]和IKC[12]。進一步將ZSSR與最近提出的核估計方法KernelGAN[1]相結合。的方法在很大程度上優於上述所有方法；但是，由於所比較的方法沒有在這里使用的數據集上進行訓練，因此比較並不完全公平。
與NTIRE 2018基線的比較
表2顯示了與驗證網站3的NTIRE 2018基線的比較，其中使用的數據集和評估腳本與本文的實驗相同。盡管2018年的NTIRE競賽提供了成對的訓練數據集，但以非配對的方式訓練網絡。
如表5所示，在失真度指標（PSNR，SSIM）和感知度指標（LPIPS[52]；越低越好）上都取得了優異的成績。
與最新方法的比較。在本小節（圖9）中提供一個定性比較，因為沒有基本真實的HR圖像。輸入的LR圖像是從DOTA驗證集中采樣的，GSD在[55cm，65cm]范圍內。作為基准，首先測試了基於CNN的盲去噪方法RL restore[50]，因為輸入的LR圖像包含可見偽影。
表4顯示了與相關最新方法的數值比較。使用Fr'echet起始距離（FID）[14]評估SR結果的質量，因為沒有相應的地面真實圖像。CycleGAN，Bulat等人的方法和本文的方法，都是基於GANbased的非配對方法，在很大程度上優於所有其他方法。
感知訓練。
還根據ESRGAN[44]對模型進行了面向感知的重建損失訓練，以證明本文方法的通用性。將公式7替換為知覺喪失、相對論性對抗性喪失[19]和內容喪失的組合，而其他喪失功能和訓練程序不變。與L1重建損失訓練的正常模型相比，感知訓練模型給出了更令人滿意的視覺效果（圖6）。
