我的結論（僅僅代表個人觀點）
* 2020年2月的論文
* 官方論文沒有公開代碼（20200526）。沒有代碼，一些重要的結論無法測試和驗證。
* 恢復結果結構信息以及圖像清晰度得到保障。（第一次看到論文直接說了清晰度這個問題。值得注意）
* 分辨率，256*256
* 正臉和小角度側臉都好用，大角度側臉沒有給出測試結果，沒有代碼無法測試。
* 對人臉和日常場景照修復效果都挺好的。
* 論文自己說它比以下論文效果好。
20. 《CE: Context encoders: Feature learning by inpainting》 (CVPP 2016)
28.《Shift-net: Image inpainting via deep feature rearrangement》(ECCV 2017)
26.《GMCNN:Image inpainting via generative mulit-column convolutional neural networks》(NeurIPS 2018)
33.《PICNet:Pluralistic image completion》(CVPR 2019)
1、題目
《Image Fine-grained Inpainting》
作者：
論文地址：
https://arxiv.org/pdf/2002.02609.pdf
代碼地址：
* 作者給的，在20200526日看的時候沒有代碼，不知道以后還會不會給。https://github.com/Zheng222/DMFN
* 某個讀者自己實現的。代碼地址：https://github.com/HannH/DMFN
讀者自己寫了一篇關於論文解讀的博客，地址為：https://blog.csdn.net/h8832077/article/details/105166776
2、創新點
a、self-guided regression loss
We propose a novel self-guided regression loss to explicitly correct the low-level features, according to the normalized error map computed by the output and
ground-truth images. This function can significantly improve the semantic structure and fidelity of images
b、a geometrical alignment constraint
We present a geometrical alignment constraint to supplement the shortage of pixel-based VGG features matching loss.
c、a dense multi-scale fusion generator
We propose a dense multi-scale fusion generator, which has the merit of strong representation ability to extract useful features. Our generative image inpainting framework achieves compelling visual results (as illustrated in Figure 1) on challenging datasets, compared with previous state-of-the-art approaches
3、網絡框架
4、loss函數
a、 Self-guided regression loss
b、Geometrical alignment constraint
c、Adversarial loss
d、Overall Loss
本王中，損失函數的權重依次是25，5，0.03，1
5、實驗
AA、實驗數據集
a、CelebA-HQ數據集(Progressive growing of gans for improved quality, stability,and variation. In ICLR, 2018. 6)
b、Paris Street View數據集(Context encoders: Feature learning by inpainting. In CVPP, pages 2536–2544, 2016. 1, 2, 6, 7)
c、Places2數據集(Places: A 10 million image database for scene recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(6):1452–1464. 6)
d、FFHQ數據集(A style-based generator architecture for generative adversarial networks. In CVPR, pages 4401–4410, 2019. 6)
BB、實驗細節
* batch size=16，NVIDIA TITAN Xp GPU(12 GB memory)。
* Adam優化算法，學習率0.0002，beta1=0.5, beta2=0.9。
* 訓練+驗證：CelebA-HQ、Places2、FFHQ，測試：Paris Street View、CeleA
訓練，輸入圖像大小256*256，hole大小128*128
a、CelebA-HQ數據集，直接resize臉圖到256*256。
b、Paris Street View，原始936*537，隨機裁剪成537*537，然后直接resize成256*256
c、Places2，原始512*？，隨機裁剪成512*512，然后直接resize成256*256
d、FFHQ數據集，直接resize臉圖到256*256。
* 端對端，無后處理和預處理。
Igt為原始圖像，M為要給Igt增加的mask(對應遮擋區域為1，非遮擋區域為0)，Iin=Igt點乘(1-M)(非遮擋區域像素值和Igt一樣，遮擋區域像素值為0，表現為黑色)
訓練網絡輸入的是Iin和M，網絡預測的結果為Ipred，最后輸出結果為Iout=Iin+Ipred點乘M。
All input and output are linearly scaled to [-1; 1].
6、實驗結果
a、圖像清晰度效果
雙眼皮，睫毛等細節信息保留的超級好。
b、正臉or小角度臉的效果
c、非人臉圖像的測試效果
