github：https://github.com/LimBee/NTIRE2017
摘要
本文主要是用了殘差學習，這篇論文也就使用了殘差結構超分網絡使得效果大大超越SOTA
移除傳統殘差網絡中不必要的模塊 。多尺度的超分(MDSR)和訓練方法。
也是NTIRE2017超分挑戰的冠軍
1、Introduction：
（1）網絡結構微小的改動對重構效果影響很大。（對resblock的BN改進）
相同的網絡在不同的初始化和訓練技巧下會有不同的結果。網絡結構的設計和優化方法是重要的。
Second, most existing SR algorithms treat superresolution of different scale factors as independent problems without considering and utilizing mutual relationships among different scales in SR. As such, those algorithms require many scale-specific networks that need to to be trained independently to deal with various scales.
（2）現有的超分方法都是將不同的尺度因子單獨處理，單獨訓練各自尺度的網絡：
VDSR：缺點 將雙三次插值的圖像作為輸入增加內存和運算量
SRResNet直接用了resnet的結構，但resnet是為解決high-level視覺任務。直接用於low-level的任務（超分）不是最優的。
2、RelatedWork
學習低分圖ILR 和高分圖HR之間的映射函數
Advanced works aim to learn mapping functions between I LR and I HR image pairs.
3、Proposed Method
均方誤差或L2損失是廣泛用於圖像恢復，但有實驗表明使用L1訓練相比L2效果更好。
網絡結構整體上是一個residual in residual 如圖3所示：
Since batch normalization layers normalize the features, they get rid of range flexibility from networks by normalizing the features, it is better to remove them. We experimentally show that this simple modification increases the performance substantially as detailed in Sec. 4.
（最早是在去模糊網絡移除BN層）BN層是對特征進行規范化，這樣就讓網絡輸出的范圍固定，移除BN，減少了40%的顯存使用，這樣就能有限的計算資源下訓練更大的網絡。
移除BN的block輸出， 響應值范圍比減均值除方差要廣 如下圖
3.1 、Single scale model單尺度的網絡
B代表網絡的深度，F代表特征的通道數，(BF2)的參數量占O(BF)的GPU顯存，因此有限的計算資源下增加F能比B更大提升模型的表達能力（參數越多表達能力）
但是過多增加特征通道數是會影響訓練不穩定， 但網絡與SRResNet不同的是，在resblock外沒有relu。
訓練x3，x4的網絡時，我們使用x2的網絡作為初始化。預訓練的方法加速網絡訓練和提升效果。
3.2、多尺度的模型
4、Experiment
4.1、DIV2K 800張訓練集 100張驗證集 和100張測試集。測試集的gt沒公布所以在驗證集上對比。還有4個benchmark：Set5，Set14，BSD100，Urban10
4.2、訓練細節：
對訓練數據進行隨機水平翻轉和90旋轉，輸入低分圖的大小固定48x48。預處理減去了DIV2K數據集的均值。Adam優化器的參數β1 = 0.9, β2 = 0.999，batchsize設為16.
學習率初始化為1e-4,每2e5 minibatch 學習減半。
本文用的L1損失而非L2。L2相當於是最大化PSNR，但實驗表明L1比L2有更好的收斂。
4.3、Geometric Self-ensemble幾何自集成的方法：
測試階段通過翻轉和旋轉得到7張增強的輸入低分圖像，然后使用對應的逆變換。最終8張輸出圖像取均值得到最終結果。
自集成的方法相較於其他方法不需要額外的模型。這就使得當模型很大或者訓練時間很久的情況很有效。雖然self-ensemble 比起傳統的模型集成方法。表中使用了自集成方法加了+后綴。 自集成僅在是像雙三次下采樣的方法有效？
4.4. Evaluation on DIV2K
Table2 . SRResNet 使用了L1 比原先使用L2在所有scale上都取得更好的結果。修改了BN占用更少的GPU顯存。
5、比賽：
本文工作是為了NTIRE2017超分競賽提出， 有兩個賽道（雙三退化和未知的退化），輸入圖像不僅是下采樣了還嚴重模糊。
比賽排名如下：
