Gated Fusion Network for Joint Image Deblurring and Super-Resolution
Abstract
由於傳感器和物體之間的相對運動，由移動或靜止相機捕獲的圖像不可避免地會受到運動模糊的影響。本文主要關注存在運動模糊的超分辨任務。提出了一種深度門控融合卷積神經網絡，可以從具有嚴重模糊的單個圖像中生成清晰的高分辨率圖像。
Introduction
單圖像超分辨率（SISR）旨在從一個低分辨率（LR）幀恢復高分辨率（HR）圖像。真實世界的圖像經常受到非均勻運動模糊的影響。SR和去模糊通常是分開處理的，但在這里中，我們的目標是解決從給定的模糊LR輸入生成清晰HR圖像的聯合問題。
傳統的順序解決方法（例如先SR再去模糊）存在許多問題：①誤差累積，即第一模型的估計誤差將在第二模型中傳播和放大。②分步網絡沒有充分利用兩個任務之間的相關性。例如，特征提取和圖像重建步驟執行兩次並導致計算冗余。③資源消耗。兩步式方法無法應用於資源受限的應用程序。
作者提出了一個基於雙分支架構的門控融合網絡（GFN）來解決SR和去模糊的聯合問題。GFN包含兩個分支：一個分支旨在對LR輸入圖像進行去模糊，另一個分支生成清晰的HR輸出圖像。此外，為了自適應融合去模糊和超分辨率分支提出了一個門模塊，門模塊在特征級上對兩個分支結果進行融合以避免去模糊圖像的誤差累積，然后將融合的特征饋送到圖像重建模塊中以生成清晰的HR輸出圖像。
Gated Fusion Network
3.1 Network architecture
模型基於雙分支架構，由四個主要模塊組成：
（1）Debluring module 去模糊模塊
去模糊模塊旨在從輸入模糊LR圖像
恢復清晰LR圖像
。去模塊模塊中采用了非對稱殘差編碼器 - 解碼器架構來擴大感受域。
① 編碼器部分主要使用殘差結構，包含三部分，每部分具有6個ResBlock，其中最后一個ResBlock的輸入為該部分的最初輸入特征+上一個ResBlock的輸出特征，而后接上一個跨步卷積層（stride=2的卷積層），用於將特征下采樣（1/2倍）
② 解碼器采用兩個轉置卷積層來擴大特征圖的空間分辨率。
PS：轉置卷積？
轉置卷積層可以看做是卷積層的一種逆運算，屬於自適應上采樣的一種。
常規卷積層的卷積運算可以寫為
,其中C為中非零元素為卷積核的權重,此線性操作把一個16維的輸入向量，經過卷積運算后輸出一個4維的向量，最后再轉變為一個2*2的輸出矩陣。反向傳播時誤差通過損失loss乘以
進行反向傳播, 在反向傳播的時候，輸入為4維的向量，輸出為16維的向量，其連接方式與前向傳播一致。
轉置卷積過程則為正向傳播把4維的向量空間映射到16維的向量空間,反向傳播把16維的向量空間映射到4維的向量空間,即前向傳播和反向傳播分別通過乘以
和
獲得。
直接使用nn.ConvTranspose2d
③ 經過解碼器得到輸出特征
，然后將其輸入到門模塊中進行特征融合。
④ 最后使用兩個卷積層來重建去模糊的低清晰度圖片
（2）Super-resolution feature extraction module SR特征提取模塊
使用8個ResBlock來提取圖像SR特征,為了保證空間信息,作者沒有使用任何池化或跨步卷積層。得到特征記為
（3）Gate module 門模塊
SR特征對空間細節(靜態的)有更好的體現,去模糊特征則對運動區域有更好的響應.
其中⊗表示逐元素乘法,門模塊包含兩個卷積層
看了一下原文的實現，是直接將
使用cat進行拼接，然后交給兩層卷積層得到門模塊的輸出結果，然后使用mul和add得到結果，感覺有點簡單粗暴。
（4）Reconstruction module 重建模塊
門模塊的融合特征在重建模塊作為輸入,經過8個ResBlock和兩個PixelShuffling層,擴大分辨率,然后兩個卷積層來重建最終圖像
3.2 Loss functions
使用MSE loss,針對每個blurry LR都有對應的HR圖像H 和LR圖像L, 從而:
summary
① 使用兩個分支四個模塊。將去模糊和SR分別進行處理，結果交由門模塊進行融合，得到結果由重建模塊進行重建圖像。這是不是就是說，我可以把多個問題逐個處理然后由門模塊進行融合，比如說圖像中的pose不同，我是不是就可以把正例和其它多個pose樣本放到兩條分支中進行處理這樣子。
② 訓練過程分兩步訓練。第一步不使用門模塊，分別訓練其余三個模塊，第二步加入門模塊，整體訓練。