1. 論文簡介
ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks為ECCV 2018 workshop文章，該方法在PIRM2018-SR比賽（PIRM2018-SR Challenge）中取得第一名，本論文提出的一些關於超分辨率重建的相關內容具有研究價值，因此單獨拿出來記錄一下。原文給出代碼，需要請戳我。
2. 具體方法及內容
2.1 網絡結構
網絡結構如下圖，和原SRGAN基本一致，區別在於針對基本塊(BasicBlock)的替換，針對基本塊的設計，作者也提出了不同的設計方法。
作者針對基本塊做出對比並提出了新的RRDB(Residual in Residual Dense Block)結構。下圖左側為SRGAN中常用的基本結構，右側為本文使用的RRDB結構塊，其中\(\beta\)為模型中的殘差縮放參數。
注意上圖左側，作者將原SRGAN中的BN層移除，這里作者解釋是：在不同的以PSNR為導向的任務中（包含SR和去模糊任務），通過移除BN層能夠有效的增加性能並且減少模型的計算復雜度，證明論文戳我。BN層通過在訓練中使用一批數據的均值和方差規范化特征並且在測試時通過使用在整個訓練集上預估后的均值和方差規范化測試數據。當訓練集和測試集的統計結果相差甚遠時，BN層常常趨向於引入一些不太爽的偽影並且限制了模型的泛化能力。在經過試驗對比后作者發現BN層在較深的網路和GAN網絡中更容易帶來偽影問題，因此作者選擇移除BN層。
作者保留了SRGAN的主體結構，在模型細節部分，作者選用了RRDB結構，RRDB的優勢該結構使用了與SRGAN更深更為復雜的網絡結構，基於觀察，多層多連接結構有助於提高性能。同時該結構含有一個“殘差再殘差”結構，使得在不同層級都能使用到殘差。
此外，作者對訓練網絡還提出兩點技巧：1)殘差縮放：在添加結果到主路徑前通過乘一(0,1)之間的數來保證穩定；2)使用較小數值初始化，實驗證明較小方差初始化使得參加結構能夠更容易訓練。
2.2 相對判別器(Relativistic Discriminator)
作者除了對生成器做出一些改進，同時對判別網絡做出變更，本文選用了一種基於相對判別器(Relativistic Discriminator)的改進網絡。
和傳統SRGAN中的判別器D不同的是，原本判別器僅僅針對輸入圖\(x\)判斷其是真實且自然的概率，而相對判別器嘗試去預測真實圖像\(x_r\)相對生成結果（假的）\(x_f\)更加真實地概率。
本文基於這一網絡提出了一種平均相對判別器，具體生成器損失函數如下：
判別器損失：
2.3 改進感知損失(Perceptual Loss)
作者針對原始SRGAN中的感知損失(Perceptual Loss)，提出了一種更加高效的感知損失函數，同時作者證明了末尾激活函數對感知損失結果輸出具有負面影響，因此作者選用了去掉VGG末尾后的網絡從取得感知損失結果。總損失函數如下：
同時為了證明末尾激活函數的影響，作者做了如下實驗：
可以發現通過激活函數后，輸出特征經過平滑后明顯有所損失，所以為了盡可能保留特征細節，作者去掉了末尾的激活函數層。
2.4 網絡插值(Network Interpolation)
為了去除基於GAN產生的噪聲結果，本文提出了一種高效的策略——網絡插值。具體操作如下：首先訓練一個以PSNR導向的網絡\(G_{PSNR}\)，之后再使用一個基於GAN網絡的\(G_{GAN}\)來進行調優，通過兩個網絡參數結合來提升生成結果。
其中\(\alpha\in[0,1]\)。
3. 實驗結果
這里展示部分結果，具體結果見原文，可以看到效果還是很好的。
4.總結
本文從多個角度提出了基於GAN的超分辨率重建的新方法，頗具成效，具體從以下幾個方面：
- 網絡結構（包括RRDB的提出，BN層去除）
- 平均相對判別器的使用
- 感知損失的改進
- 提出網絡差值方法改進超分辨率重建結果