這篇文章 FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors 是 CVPR 2018 的文章
一、動機
以往利用人臉先驗的人臉SR方法都采用多階段訓練策略，而不是端到端訓練策略，不方便且復雜。基於CNN，我們提出了FSRNet
二、論文的貢獻
1）據我們所知，這是第一個利用面部幾何先驗進行的端到端訓練的深度人臉超分辨率網絡。
2）同時介紹了兩種人臉幾何先驗方法:人臉特征點熱圖（facial landmark heatmaps ）和解析圖（ parsing maps）
3）The proposed FSRNet achieves the state of the artwhen hallucinating unaligned and very low-resolution (16×16 pixels) face images by an upscaling factor of 8, and the extended FSRGAN further generates more realistic faces.
4）采用人臉對齊和解析作為新的人臉超分辨評價指標，進一步證明了該指標解決了傳統指標與視覺感知不一致的問題。
三、論文模型： Face Super-Resolution Network
3.1 Overview of FSRNet
我們的基本FSRNet F由四部分組成: 粗SR網絡、精SR編碼器、先驗估計網絡和最終的精SR解碼器。
一個低分辨率的人臉圖片x作為輸入，經過coarse SR Network 恢復出一個coarse SR image。然后這個coarse SR image被送入到Fine SR Network中，作為Fine SR Encoder和Prior Estimation Network 的輸入圖片。在Fine SR Network中從coarse SR image中提取特征，而Prior Estimation Network 通過多任務學習共同估計先驗信息：特征點熱圖（landmark heatmaps ）和解析圖（parsing maps）。最后將圖像特征和人臉先驗知識輸入到精密的SR解碼器中，恢復出精確的HR人臉。
3.2 Coarse SR network
k3n64s1：kernel size：3×3，number of channels：64，stride：1
首先，作者使用 a coarse SR network 來大致的恢復出一個粗糙的HR 圖片。這樣做的動機是，直接從一個LR圖片估計人臉特征點的位置和解析圖（parsing maps）具有很大的困難。使用coarse SR network 有助於減輕估計先驗的困難。粗SR網絡的體系結構如上圖所示。它以一個3×3的卷積開始后面跟着3個殘差塊。然后再使用3×3卷積層重建粗糙的HR圖像
3.3 Fine SR Network
在上面的精細SR網絡中，將粗糙的HR圖像發送給兩個分支，即先驗估計網絡和精細的SR編碼器中，分別用於估計人臉先驗和提取特征。然后，解碼器聯合使用這兩個分支的結果來恢復較好的HR圖像
3.4Prior Estimation Network
任何真實世界的物體在它的形狀和紋理上都有不同的分布，包括臉。通過將面部形狀與紋理進行比較，我們首先考慮了兩方面的因素，選擇對形狀進行建模和利用。第一，當分辨率由高到低的時候，形狀比紋理保存的更好，因此更容易被提取出來，實現超分辨率。第二，形狀先驗比紋理先驗更容易表示。例如，面部解析估計不同面部成分的分割，特征點提供面部關鍵點的准確位置，即使在低分辨率情況下。而且對於一個特定的人臉，如何表示高維的紋理先驗是不清楚。
受最近疊加熱圖回歸在人體姿態估計中的成功啟發，在先驗估計網路中，我們采用沙漏(HG)結構來估計人臉特征點熱圖和解析圖。由於這兩個先驗都代表二維的臉型，所以在我們的先驗估計網絡中，除了最后一層之外，這兩個任務之間的特征都是共享的。為了有效地跨尺度合並特征並保存不同尺度的空間信息， HG塊（hourglass block ）在對稱層之間使用了跳躍連接機制（a skip connection mechanism）。采用1×1卷積層對得到的特征進行后處理。最后，將共享的 HG特征連接到兩個單獨的1×1卷積層，生成特征點熱圖和解析圖
3.5Fine SR Encoder
對於精細的SR編碼器，受ResNet在SR中的成功啟發，我們利用殘差塊進行特征提取。考慮到計算代價，我們的先驗特征的大小被降采樣為64×64。為了使feature size一致，fine SR編碼器從stride 2的3×3卷積層開始，將feature map向下采樣到64×64。然后利用ResNet結構提取圖像特征。
3.6Fine SR Decoder
精細SR解碼器聯合使用特征和先驗來恢復最終的精細HR圖像。第一步，將先驗特征p和圖像特征f串聯作為解碼器的輸入。然后，一個3×3的卷積層將feature maps的數量減少到64。利用4×4反卷積層將feature map上采樣到128×128。然后利用3個殘差塊對特征進行解碼。最后，使用3×3卷積層恢復較好的HR圖像。
3.7 loss function
、
Θ表示參數集,α和β表示 the coarse SR loss and prior loss 的權重。y (i), p (i)分別為恢復的第i幅HR圖像和估計的第i幅圖像的先驗信息。
FSRGAN
為了生成逼真的高分辨率人臉，我們的模型以條件方式利用GAN。對抗網絡C的目標函數表示為
論文的創新
利用人臉的先驗信息（即facial landmark heatmaps and parsing maps）來進行端到端訓練的人臉超分變率網絡。【有很多人使用人臉的先驗信息做人臉超分，也有很多人使用端到端的訓練做人臉超分，但是沒有人把這兩種方式結合起來用】
下一步工作或論文的不足之處
1.設計一個更好的先驗信息估計網絡。 （在該論文中用了好多對比實驗證明了先驗信息的重要性）
2.迭代地學習精細的SR網絡。
3.調研其他有用的臉部先驗信息。
4.FSR網絡框架中的 Prior Estimation Network和 Fine SR Encoder中的模塊作用論文中寫的不夠清楚