論文原址:https://arxiv.org/abs/1707.02921
代碼: https://github.com/LimBee/NTIRE2017
摘要
以DNN進行超分辨的研究比較流行,其中，殘差學習較大的提高了性能。本文提出了增強的深度超分辨網絡（EDST）其性能超過了當前超分辨最好的模型。本文模型性能的大幅度提升主要是移除卷積網絡中不重要的模塊進行優化得到的。本文模型可以在固定訓練步驟的同時，進一步擴大模型的尺寸來提升模型性能。本文同時提出了一個多尺寸超分辨系統(MDSR)及訓練方法，該模型可以根據不同的放大稀疏構建高分辨率的圖片。
介紹
單圖像超分辨方法(SISR）主要是將低分辨率的單張圖片
重構為高分辨率的圖像
，一般，低分辨率的圖片，與原始的高分辨率圖像
二者之間具有較強的條件限制。許多研究假定為的二三次采樣得到的結果。在實際生活中，也可以考慮其他降級因素，比如，模糊，抽取或者噪聲等等。
最近，深度網絡改進超分辨中信噪比的峰值（PSNR）該值越大越好，參考https://www.jiqizhixin.com/articles/2017-11-06-8 ，然而，這些模型存在一些結構限制,首先，網絡模型重建性能對結構的微小變化較為敏感，即相同的模型，通過不同的初始化及訓練方法可以得到不同層次的性能。因此，在訓練網絡時，需要精心設計結構及較為固定的優化方法。
其次，大多數現存的超分辨算法將不同的縮放尺寸看作是獨立的問題，並未考慮利用超分辨不同尺寸之間的聯系。因此，這些模型針對不同的縮放尺寸需要確定固定的尺寸，然后進行單獨的訓練。VDSR模型可以在單一網絡中處理多尺寸的超分辨問題。通過對多尺寸的VDSR模型進行訓練，超過了固定尺寸的訓練，表明固定尺寸模型中存在的冗余。但是，VDSR的結構需要對圖像進行二三倍插值然后作為模型的輸入，因此，需要大量的計算及內存消耗。
雖然，SRResNet解決了計算及內存問題，該模型簡單的應用了ResNet，並做了有限的改動。但原始的ResNet是用於處理較高層次的問題，比如目標分類及檢測等，因此，直接將ResNet應用到超分辨這種低層次的問題，該模型可能陷入局部最優。
為了解決上述問題，本文在SRResNet的基礎上進行優化改進，首先分析並移除其中沒有必要的模塊來簡化網絡的結構。網絡越負載，其訓練越棘手。
第二，本文研究了模型的訓練方法，將在另一個尺寸訓練好的模型進行知識遷移。為了利用訓練過程中與尺寸無關的信息，在預訓練的較低尺寸的模型中訓練一個較大尺寸的網絡模型。另外，本文提出了一個新的多尺寸模型結構，共享不同尺寸之間的大多數參數。這種多尺寸模型相比多個單一尺寸模型計算量上減少很多，但性能卻差不多。本文在DIV2K數據集上進行實驗，其PSNR及SSIM性能表現都比較優異。
相關工作
早期基於簡單的插值理論來解決超分辨的問題。但在預測精細，紋理問題時上述方法存在限制，通過分析自然圖片的分布來重構最好的更高分辨率圖像。
較為高級的工作致力於學習
及
之間的映射函數。因此，學習方法依賴於鄰域嵌入到空間編碼等一系列技術。有研究提出通過聚類patch空間並學習相關的函數。一些方法利用圖像自身的相似度來排除其他的databases，同時通過對patches進行幾何變換來提高內部字典的容量大小。
最近，深度神經網絡大幅度地提升了超分辨的性能。跳躍結構及連續的卷積結構減輕超分辨網絡傳遞Identity 信息的負擔，有的方法通過編碼-解碼及對稱的跳躍結構來處理圖像恢復問題。跳躍結構可以加速收斂效果。
在許多基於深度學習的超分辨算法當中，輸入圖像首先要經過一個二三次的上采樣插值，然后送入網絡中。有的並未將輸入圖片進行上采樣，而是在網絡的后面增加一個上采樣模型，這樣也是可取的。由於輸入特征尺寸減少了，因此，在不損失模型能力的基礎上可以減少大量的計算量。但這類算法存在一個缺點，無法在一個單一模型中處理多尺寸問題。本文權衡了多尺寸訓練及計算效率二者。不僅利用學習到的每個尺寸之間的內在特征聯系。同時提出了多尺寸模型可以針對不同的尺寸構建高分辨率的圖像。另外，本文提出了多尺寸訓練方法，結合了單一及多尺寸模型。
一些有關損失函數的研究為了更好的訓練網絡。在圖像恢復問題中，均方差和L2損失用的較為廣泛，而且主要用於評估PSNR。但有的人認為L2損失無法保證RSNR及SSIM達到最優，通過實驗L1損失也可以達到相同的性能。
本文方法
本文提出了針對確定尺寸的EDSR及在單一模型中處理不同尺寸高分辨率的MDSR模型。
殘差Blocks: 參差網絡在計算機視覺問題上表現優異，本文在SRResNet的基礎上對ResNet結構進行改進，從而獲得更好的性能。本文比較了原始的ResNet,SRResNet及本文方法的結構差異，如下圖所示。
本文移除了網絡中的BN層，這是因為BN層對特征進行正則化,消除了網絡的靈活范圍。同時，由於移除了BN層因此，減少了GPU的利用率，在訓練時，相比SRResNet減少了大約40%的內存占用。因此，在有限的計算資源的基礎上可以構建更大的模型從而獲得更好的性能。
單尺寸模型: 改進模型性能最簡單的方式是增加參數的數量。在卷積網絡中，可以疊加更多的層來增加filter的數量。一般卷積網絡結構的深度B（網絡的層數），寬度F（特征通道數），內存占用大約為O(BF)，參數量為O(BF^2)，因此，考慮在有限的計算資源下，增加F可以提高模型的能力。但將F增加到一定層次后，網絡的訓練會變得不穩定。為了解決這個問題，本文將殘差scaling調整為0.1，在每個殘差block，每個卷積層后接一個固定的常數層。可以使模型在較多的訓練時較為穩定。在測試階段，可以結合以前的卷積層從而提高了計算效率。
本文的單一尺寸模型與SRResNet相似。但在殘差塊外並沒有ReLU激活函數。最后EDSR模型中，將baseline model設置為B=32,F=256，scale factor 0.1。網絡結構如圖3所示。
當用於x3,x4倍上采樣訓練模型時，本文用x2的預訓練模型作為初始化。這種初始化方法可以加速訓練並提升最終性能，如圖4所示。
多尺寸模型: 由上圖4觀察可知，多尺寸的超分辨任務是內在相互關聯的。本文提出多尺寸模型利用其內存在的尺寸相關性，設計了一個baseline 其主分支B即網絡層數16的殘差blocks，因此，不同尺寸中，大多數參數是共享的。如下圖所示
在多尺寸結構中，本文引入了尺寸確定的處理模塊，用於處理不同尺寸的超分辨。首先，預處理模塊位於網絡的開頭，用於減少不同輸入尺寸圖片的差異性。每個預處理模塊包含兩個殘差block，其核大小為5x5。通過選用較大的卷積核，可以保證確定尺寸部分較淺，在網絡的前半部分的感受野較大。在網絡的最后，不同尺寸對應的上采樣模塊進行拼接。
最終WDSR模型的層數為80，通道數64，，每個baseline模型包含1.5M個參數量，總共4.5個。而本文的多尺寸模型只有3.2M的參數量。其性能如下所示。
實驗
