圖像超分任務可以看作是試圖從LR圖像中恢復盡可能多的高頻信息。在SR任務中,輸入的LR圖像包含了豐富的低頻信息。但是之前的任務把不同channel都同等對待,限制了CNN的表達能力。因此文中在EDSR的基礎上結合了channel attention機制,構建了residual in residual模塊用長跳連接多個殘差組,組成了very deep residual channel attention network(RCAN)。這些長跳連接可以更好地傳遞低頻信息,讓主網絡集中於學習高頻信息。
RCAN的完整網絡結構如下圖。多個RCAB模塊通過短跳連接組成RG,再對RG進行殘差連接稱為長跳連接。
每一個RCAB中包含了channel attention(CA)模塊,這個模塊和SENet中的squeeze and excitation模塊是一樣的。先用一個average pooling把每一個channel的特征圖變成一個1x1的point,然后也參照SENet引入了reduction來減小模型的復雜度。SENet中的SE block在閱讀筆記中有講過。
訓練使用了DIV2K中800張圖像,測試在Set5, Set14, B100, Urban100, Manga109. 在Y頻道上計算PSNR和SSIM進行評估。
通過去除長短連接,說明了RIR結構的作用。如果LSC和SSC都被去除,不管有沒有CA表現都要相對差一些。說明僅僅簡單的堆疊殘差模塊是無法實現深層且有效的SR模型的。通過加入LSC或SSC都可以提升表現,加入兩個效果更好。
對x2的任務RCAN在Set5, Set14, B100數據集上比EDSR大概好差不多0.2-0.3個點,對於倍數更大的任務比如x8任務提升要更大一點,差不多有0.6-0.7左右。EDSR參數量43M,RCAN參數量16M,RCAN的深度要比EDSR深。對於倍數大的任務優勢要更大一些,一些模型在x8任務中會有明顯的錯誤。