本文認為已有的SR方法存在着三個主要的問題:
①采用預定義的上采樣操作(例如雙三次插值)會產生不必要的計算代價,並且結果可能會有重建偽影。而使用反卷積層這樣的操作來替換預定義的上采樣操作,網絡結構又比較簡單,性能較差,不能很好地學習復雜的映射;
②使用l2型損失函數時,不可避免地會產生模糊的預測,恢復出的高分辨圖片往往會過於平滑;
③大部分的方法都只有一次上采樣的步驟,這就會使得對於更高倍數因子的訓練變得困難。
為了解決上述問題,本文提出了LapSRN,網絡以LR圖片作為輸入,以低分辨到高分辨的方式來預測子帶殘差。在網絡的每一層,一系列的卷積層被用來提取特征映射。此后,一個反卷積層用來將特征映射上采樣,然后傳遞到最后一層。最后用一個卷積層來預測子帶殘差(sub-band residual,指各層上采樣的結果與ground-truth的差別)。網絡結構如圖所示:
在訓練時,采用的是l1型的損失函數Charbonnier,並且在每一級網絡進行一次計算,最終將每一級的損失函數和進行優化。
與之前講過的VDSR類似的,LapSRN也采用了很深的網絡結構,且也采用了殘差學習的方式,但是從結構上來看,很明顯LapSRN采用的多級結構在每一級都進行反卷積和殘差學習,而VDSR是經過插值上采樣后進行殘差學習。而與同樣采用了反卷積層進行上采樣的FSRCNN相比,LapSRN在每一層都采用一個反卷積層,不僅能夠達到放大圖像的作用,還能夠獲取中間倍數的放大結果(例如需求輸出8x的圖像,可以獲得4x和2x的圖像)。
總的來說,由於在LapSRN中逐步進行上采樣並逐級預測殘差,在訓練獲取更大倍數因子的圖像過程中能夠獲取中間的上采樣圖像。另外,由於圖像的大小是逐級進行放大的,因此運行速度也提高了。通過監測每一級的輸出,LapSRN的表現也超過了其他大部分的SR方法。