介紹一篇新出的CVPR 2020 Oral 論文 Bringing Old Photos Back to Life ，老照片的修復，在視覺效果上看效果超群。該文作者來自香港城市大學、微軟亞洲研究院、微軟雲+ AI、中國科學技術大學。下圖為使用該文方法修復的視覺效果：
無論對於有斑點的污損、照片模糊、還是噪聲影響，是不是修復效果都還是很顯著的？
該文方法可以處理更接近真實場景的結構化和非結構化的復雜的混合降質。
通常使用深度學習方法進行圖像修復需要得到降質前后的圖像，但對於老照片這是不存在，所以需要合成老照片和與其對應的未降質圖像，但因為老照片含有膠片顆粒化、褪色、損傷等降質，難以合成高質量的未降質圖像。
該問題設計到三個域：老照片域、合成老照片域、合成的未降質的老照片域。如下圖：
主要思路：
作者使用變分自動編碼機（VAE）將圖像變換到隱空間，並在隱空間進行圖像恢復操作。如下圖所示：
作者使用了兩個VAE，第一個VAE用於將真實老照片和合成老照片進行編碼到隱空間，訓練時同時加入一個對抗學習鑒別器。第二個VAE用於將干凈的合成老照片進行編碼。
然后，在隱空間學習從污損的老照片到干凈圖像的映射。同時為了處理復雜的圖像退化，作者在此映射的學習中使用了帶有partial nonlocal block的全局分支（global branch），用於處理結構化缺陷（例如划痕和灰塵斑點）；和一個局部分支，用於處理非結構化缺陷（例如噪聲和模糊）。
在第一個VAE中實現了域對齊，實現了更好的老照片修復。
修復效果：
下圖為與其他state-of-the-art方法修復結果的比較（請點擊查看大圖）：
可見視覺效果提升是很明顯的。
下表為在合成的DIV2K數據集上的數值比較結果：
與其他方法比，結果並不是最好。
但關鍵老照片恢復還得看視覺質量，於是作者們也進行了用戶調查：
這次就很拔群了！期待作者代碼開源出來，試一試！
更多結果：
論文地址：
https://arxiv.org/pdf/2004.09484.pdf
項目地址:
http://raywzy.com/Old_Photo/