Image Super-Resolution by Neural Texture Transfer
1 簡介
經典的單圖超分辨技術(SISR)因為低分辨圖片固有的信息丟失而變得極具挑戰，基於參考圖片Red的超分辨技術(RefSR)可以在參考圖片的幫助下恢復出高分辨圖片的更多細節。然而現有的RefSR方法要求參考圖片與低分辨圖片有較高的相似性，當參考圖片與低分辨圖片差別較大時超分辨恢復的效果會嚴重下降，甚至不如無參考的SISR方法。
本文旨在通過利用來自Ref圖像的更多紋理細節來釋放RefSR的潛力，即使在提供不相關的Ref圖像時也具有更強的魯棒性。作者將RefSR表述為神經紋理遷移問題並設計了一個端到端的深度模型SRNTT,該模型可以根據紋理相似性自適應地從參考圖片遷移紋理來豐富高分辨圖像的細節。SRNTT的一大重要貢獻是其紋理相似度計算不再基於原始的像素點，而是基於多層級的圖像特征。
2 方法介紹
現有方法局限性：①SISR生成的紋理不夠真實 ② RefSR要求Ref與LR之間盡可能的對齊。
作者提出SRNTT結構
主要分為兩部分，特征匹配部分在特征空間中搜索I（Ref）的特征紋理，然后通過多層級方式與I（LR）進行比對，根據兩者之間的相似程度進行特征塊的替換，並將最終特征結果輸入到紋理轉換結構中。紋理轉換部分將得到的特征結果整合到LR中。
2.1 特征替換 Feature Swapping
① 采樣
首先對I（LR）應用雙三次上采樣，以獲得與IHR具有相同空間大小的放大LR圖像ILR↑，然后通過bicubic上或下采樣來使Ref也resize到HR的尺寸。
② 特征
由於LR和Ref在顏色和光照方面也可能不同，作者使用神經網絡特征進行相似度對比。例如VGG特征。還有一個原因就是，即使在RGB或者其他圖像空間下Ref和LR沒有相似的地方，在low-level或者high-level的feature空間下也可能會有相似的patch存在。例如論文最開始的鍾樓的邊緣和Ref中橋的邊緣就在feature空間上可能會有類似的地方。
③ 相似度
使用內積來衡量神經特征之間的相似程度：
相似度計算可以作為一組卷積操作有效地實現在所有LR特征塊上，即分別以每個Ref特征塊作為卷積核對所有LR特征塊進行卷積。多個核得到的結果進行比較，最終每一個LR像素塊都會有一個與其對應的相似度最大Ref塊。
④ 替換
根據相似性得分，假設M為最終增強結果圖像，則
即，對於每一個低分辨圖像塊，都將其對應的相似度最大的Ref特征塊替換到LR中，替換圖像塊之間的重疊部分取各塊的平均值作為最終值。需要注意的是， IRef↓↑用於計算相似度，但原始Ref IRef用於替換，以便保留原始參考的HR信息。
PS：實際操作中，每個patch都是3*3的大小，上面公式中的x，y是中間像素的坐標，就是，整體是以x,y為中心的3*3patch做拼接的 所以會有重疊部分。這種patch match任務中，patch的大小有時候會對最終的效果有不小的影響。
2.2 紋理轉換
紋理轉換通過將多個替換得到的紋理特征圖合並到對應於不同尺度的不同特征詞的深度網絡中。紋理遷移網絡利用原始的低分辨圖像和交換特征圖M從高級別到低級別逐步恢復超分辨圖像，每個紋理級別的遷移過程都是相同的，但是輸出的圖像尺寸會越來越大，單個級別的紋理遷移網絡結構：
首先將特征替換部分得到的特征圖M與該級別的輸入圖像進行拼接，然后通過殘差網絡塊學習紋理特征，將學到的紋理特征合並到輸入圖像，使用子像素卷積(sub-pixel conv)將合並后的圖像放大兩倍並將其輸出至下一層。
PS: sub-pixel conv
Sub-pixel結構在pytorch中，實際是[conv，pixel-shuffle]的過程，前一個conv是擴張channel，例如，2x的upsample的話 就需要用conv將channel擴大到原來的4倍。另外就是，pixel-shuffle不一定比bicubic upsample效果好，需要看具體情況。
當所有紋理級別都遷移完畢，在最后一層獲取超分辨圖像時將直接輸出合並圖像，不再使用子像素卷積進行2倍放大。
2.3 損失函數
為了1）保留LR圖像的空間結構，2）提高SR圖像的視覺質量，3）利用Ref圖像的豐富紋理，目標函數使用重建損失reconstruction loss L（rec）、感知損失perceptual loss L（per），對抗性損失adversarial loss L（adv），紋理損失texture loss L（tex）。其中重構損失被絕大部分SR方法采用，感知損失和對抗損失被其他研究證明能夠提高視覺質量，而紋理損失是作者專門針對RefSr方法定義的損失，目的是使超分辨圖片的紋理與交換特征圖的原理盡量相似。
reconstruction loss
旨在實現更高的PSNR，通常以均方誤差（MSE）來衡量。 在本文中，采用1范數
perceptual loss
其中V和C分別表示特征圖的體積和通道數，而φi表示從VGG19模型的隱藏層提取的特征圖的第i個通道。 F表示弗羅貝尼烏斯范數
Adversarial loss
對抗性損失可以顯着提高合成圖像的清晰度/視覺質量。這里使用WGAN-GP loss，其中D是1-Lipschitz函數，Pr和Pg分別是模型分布和實際分布。
texture loss
其中Gr為計算Gram矩陣，lambda是對應層l的特征尺寸的歸一化因子，S*l 是包含每一個LR塊對應的最高的Ref塊的相似度。該loss使得與ILR不同的紋理將具有較低的權重，因此在紋理轉移中受到較低的懲罰。