USRNet：Deep Unfolding Network for Image Super-Resolution

1. 摘要

相比傳統方法，受益於端到端訓練，基於學習的圖像超分方法取得了越來越好的性能(無論是性能還是計算效率)。然而，不同於基於建模的方法可以在統一的MAP框架下處理不同尺度、模糊核以及噪聲水平的圖像超分，基於學習的圖像超分缺乏上述靈活性。

​ 為解決上述問題，作者提出一種端到端可訓練展開的網絡，它集成了基於學習與基於建模的方法。通過half-quadratic splitting算法將MAP推理進展展開，通過固定次數的迭代求解數據子問題與先驗子問題。上述兩個子問題可以通過神經網絡模塊進行求解，從而得到一個可端到端訓練的迭代網絡。因此，所提網絡不僅具有建模方法的靈活性(可處理不同尺度、模糊、噪聲降質問題)，同時具有學習方法的高性能。最后作者通過實驗證實了所提方法在靈活性、高效性以及泛化性能方面的優勢。

論文：Deep Unfolding Network for Image Super-Resolution
代碼：https://github.com/cszn/USRNet

​ 本文的貢獻主要包含以下幾點：

• 提出一種端到端可訓練展開的圖像超分網絡，它是首個采用單個端到端模型解決經典降質問題(不同尺度、模糊核以及噪聲水平)的方法；
• USRNet集成了建模方法的靈活性與學習方法的優勢，為縮小兩者差異構建一條通路；
• USRNet從根本上將降質約束與先驗約束信息嵌入到求解過程中；
• USRNet在不同降質配置下的LR圖像均具有極好的性能，在實際應用中具有極大的潛力。

2. 算法原理

2.1 圖像退化

一般而言，廣義降質過程可以通過如下公式進行刻畫：

其中研究最多的當屬雙三次插值降質，事實上雙三次插值降質也可以通過上述公式配合合適模糊近似。與此同時，我們可以采用數據驅動的方式求解上述核估計問題，優化目標如下：

下圖給出了不同尺度下的雙三次核近似估計。注：由於下采樣操作是選擇每個塊的左上角像素，因此所估計的雙三次核分別偏離中心0.5，1，1.5個像素。

2.2 Unfolding optimization

​ 從MAP框架的角度來看，HR圖像的可以通過最小化如下目標函數進行估計：

為得到上述公式的展開推理，作者選擇了半二次拆分（half-quadratic spliting, HQS）算法(因其簡潔性與快速收斂性)。HQS通過引入輔助變量z對上述公式進行求解，從而有如下等價近似關系：

其中[公式]為懲罰性參數。上述優化目標可以通過迭代求解x與z進行解決：

從上述公式推導可以看到：數據項與先驗項可以進行解耦。對於數據項而言，可以采用快速傅里葉變換進行求解；對於先驗項而言，它等價於降噪問題。

2.3 Deep unfolding Network

下圖是作者提出的網絡模型結構，包含三個模塊：data module D用於計算$z_k$， prior module P用於計算$x_k$，計算時由於需要用到超參所以還引入了一個hyper-parameter module H用於計算每一次迭代時需要用到的$α_k$,$β_k$，其中$α_k$由σ,$μ_k$決定，$β_k$由λ,$μ_k$決定。作者指出，雖然可以去學到固定的λ和$μ_k$，但讓λ,$μ_k$在迭代過程中隨σ,s變化就足夠了。

data module不包含任何可學習參數，並且將輸入y與s進行最近鄰插值得到$x_0$。P模塊的結構為一個ResUNet，相當於一個denoiser，對$z_k$進行去噪得到cleaner的$HR_{xk}$。H的作用類似一個滑動條，$α_k$增大會使zk更接近於$x_{k−1}$，由3層全連接層組成。作者還指出，雖然這是針對SISR問題提出的，但是如果將縮放因子s設置為1，也可以將其應用於deblurring。

3. 實驗

一些實驗結果，感覺表現還是很好的。

4. 最后