我的結論(僅僅代表個人觀點)
* 2019年2月的論文
* 論文沒有公開代碼(20200525)。沒有代碼,一些重要的結論無法測試和驗證。
* 分辨率不高,128*128
* 正臉和側臉都好用,人臉圖和日常場景照都好用。
* 對背景的修復能力挺好的。從結果圖看,模糊問題不突出。分辨率小,論文中圖放大看就模糊了,這一個結論不確定。
* 論文自己說它比《Image inpainting for irregular holes using partial convolutions》效果好。
1、題目
《Face completion with Hybrid Dilated Convolution》
作者:
地址:
https://www.sciencedirect.com/sdfe/reader/pii/S0923596519301304/pdf
2、創新點
a、We propose a face completion network based on the U-Net architecture combined with the HDC blocks. The adopted linear growth dilation rate can address gridding effect for face inpainting task.
b、We introduce the spectral normalization in the proposed network to improve the training stability. Through introducing the spectral normalization, a modified PatchGAN discriminator is designed for irregular hole image inpainting.
3、網絡框架
4、loss函數
a、 L1 loss
b、Perceptual Loss
c、Adversarial Loss
d、Overall Loss
5、實驗
AA、實驗數據集
a、CelebA數據集:
數據:200K celebrity images,each with 40 attribute annotations
划分:隨機選擇3000張圖進行測試,剩下的訓練
****:訓練和測試的過程中,沒有采用任何屬性label
b、Helen數據集:
數據:2330個臉
划分:2000訓練,300測試。
CelebA數據集,進行模型的訓練、測試和驗證。Helen數據集,交叉驗證,對模型進行進一步的評估。
BB、實驗細節
* Training epoch 50。完成50epoch,采用NVIDIA TITAN X GPU,用時69h。
* Adam優化算法,學習率0.0002,beta1=0.5, beta2=0.9。
* CeleA數據對齊到160*160大小的臉,然后resize臉圖到128*128。
* 一個訓練樣本包含:原始圖像+二值mask。遮擋圖像的不同區域,獲得不同的二值mask,給一張圖像,可以得到多組訓練數據。
* mask包含兩種樣式的:
1) Random irregular masks with approximately 25%–40% missing;
2) Homocentric squares pattern masks with around 7 to 16 pixels are missing
6、實驗結果