Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
2016.10.23
摘要：本文針對傳統超分辨方法中存在的結果過於平滑的問題，提出了結合最新的對抗網絡的方法，得到了不錯的效果。並且針對此網絡結構，構建了自己的感知損失函數。先上一張圖，展示下強大的結果：
Contributions：
GANs 提供了強大的框架來產生高質量的 plausible-looking natural images。本文提供了一個 very deep ResNet architure，利用 GANs 的概念，來形成一個 perceptual loss function 來靠近 human perception 來做 photo-realistic SISR。
主要貢獻在於：
1. 對於 image SR 來說，我們取得了新的頂尖效果，降低 4倍的分辨率，衡量標准為：PSNR 和 structure similarity （SSIM）。具體的來說，我們首先采用 fast feature learning in LR space and batch-normalization 來進行訓練殘差網絡。
2. 提出了結合 content loss 和 adversarial loss 作為我們的 perceptual loss。
Method：
首先是幾個概念：
super solved image $I_{SR}$: W * H * C ; low-resolution input image $I_{LR}$: rW * rH * C ; high-resolution image $I_{HR}$ : rW * rH * C.
我們的終極目標是：訓練一個產生式函數 G 能夠預測給定的輸入圖像 LR input image 的 HR 部分。我們達到這個目的，我們訓練一個 generator network 作為一個 feed-forward CNN $G_{\theta_{G}}$ 參數為 $\theta_{G}$ ， 此處的 $\theta_{G} = {W_{1:L} ; b_{1:L}}$ 表示一個 L 層 deep network 的 weights 和 biases，並且是通過優化一個 SR-specific loss function $l^{SR}$ 得到的。對於一個給定的 訓練圖像 $I^{HR_{n}}$ ，n = 1,...,N 對應的低分辨率圖像為：$I^{LR}_n$ ，我們優化下面這個問題：
1. Adversarial Network Architecture
產生式對抗網絡的訓練學習目標是一個 minmax problem ：
作者也將圖像超分辨看作是這么一個過程。通過 generator 產生一張超分辨圖像，使得 discriminator 難以區分。
上圖就是本文所涉及的大致流程。
2. Perceptual Loss Function
本文所設計的感知損失函數 是本文算法性能的保證。
2.1. Content Loss
像素級 MSE Loss 的計算為：
這個是最經常使用的優化目標。但是，這種方式當取得較高的 PSNR的同時，MSE 優化問題導致缺乏 high-frequency content，這就會使得結果太過於平滑（overly smooth solutions）。如圖2 所示：
我們對此做了改進，在 pre-trained 19-layer VGG network 的 ReLU activation layers 的基礎上，定義了 VGG loss 。
我們用 $\phi_{i,j}$ 表示 VGG19 network 當中，第 i-th max pooling layer 后的 第 j-th 卷積得到的 feature map。然后定義 the VGG loss 作為重構圖像 和 參考圖像之間的歐氏距離 ：
其中，$W_{i, j}$ and $H_{i, j}$ 表示了 VGG network 當中相應的 feature maps 的維度。
2.2. Adversarial Loss
在所有訓練樣本上，基於判別器的概率定義 generative loss ：
此處，D 是重構圖像是 natural HR image 的概率。
2.3. Regulatization Loss
我們進一步的采用 基於 total variation 的正則化項 來鼓勵 spatially coherent solutions。正則化損失的定義為：
3. Experiments
總結 ： 本文給出了一種比較直觀的利用 產生式對抗網絡的方法，結合 GANs 的比較好的應用到 Super-Resolution 上。
主要是利用了 GANs 可以創造新的圖像的能力。
