論文:Image Super-Resolution by Neural Texture Transfer
論文鏈接:https://arxiv.org/abs/1903.00834
項目地址:https://github.com/ZZUTK/SRNTT
SRNTT
Adobe 研究院與田納西大學的研究者提出。
http://web.eecs.utk.edu/~zzhang61/project_page/SRNTT/SRNTT.html
基於參照的超分辨率
與 LR 輸入有相似內容的參照(Ref)圖像。
已有的 RefSR 方法是采用內部示例(self-example)或外部高頻信息來增強紋理。但是,這些方法都假設參照圖像與 LR 圖像有相似的內容和/或有良好的對齊。否則,它們的表現會有顯著的下降,甚至會比SISR 方法更差。
相對而言,Ref 圖像在我們的設定中則發揮着不同的作用:無需與 LR 圖像有良好的對齊或相似的內容。我們只希望將形義相關的紋理從 Ref 圖像遷移到輸出的 SR 圖像。理想情況下,在存在良好的 Ref 圖像時,穩健的RefSR 算法應當優於 SISR,並且在沒有提供 Ref 圖像或完全不含相關紋理時也能得到與 SISR 相當的表現。注意,內容相似性可以推斷出紋理相似性,但反過來不成立。
SRNTT 框架,包含特征交換和紋理遷移:
提出的 SRNTT 的目標是:給定參照圖像,根據低分辨率圖像估計得到更高分辨率的圖像,使得到的超分辨率圖像能根據參照圖像合成可信的紋理,同時在內容上保持與低分辨率圖像一致。
其中的主要思想是在特征空間中搜索與參照圖像匹配的特征,然后以多尺度的方式將匹配的特征遷移到超分辨率圖像,因為特征在面對顏色和光照條件變化時更為穩健。這種多尺度紋理遷移能同時考慮低分辨率圖像和參照圖像在形義(高層面)和紋理(低層面)上的相似性,從而能在抑制不相關紋理的同時遷移相關的紋理。
【轉載自】
Adobe提出新型超分辨率方法:用神經網絡遷移參照圖像紋理 https://new.qq.com/omn/20190316/20190316A0C2G6?pc
【相關 】
[論文筆記] Image Super-Resolution by Neural Texture Transfer (CVPR2019) - Deephome的博客 - CSDN博客 https://blog.csdn.net/muyiyushan/article/details/88752720
「Image Processing」Note on SRNTT - 小鋒子Shawn - CSDN博客 https://blog.csdn.net/dgyuanshaofeng/article/details/88617548
超十億樣本煉就的CNN助力圖像質量增強,Adobe推出新功能「增強細節」 | 機器之心 https://www.jiqizhixin.com/articles/19021801