Shift-Net: Image Inpainting via Deep Feature Rearrangement
Pytorch
引言
存在问题：传统的基于PatchMatch，无法捕获图像的全局结构。基于CNN的使得修复结果模糊并且缺乏精细的纹理细节。
解决问题：提出了一种新的基于CNN的方法-ShiftNet。ShiftNet是一种GAN网络；生成网络以UNet为主干网络，并在U-Net中添加了shift-connection layer；判别器网络是一个5层的卷积网络(卷积核4x4）；
创新点：对于普通的U-net增加shift-connection layer，然后用已知区域的特征来shift到缺失区域。另外利用guidance loss来最小化decoder feature和gt的encoder feature的损失
本文提出了一种新的基于CNN的方法-ShiftNet。ShiftNet是一种GAN网络；生成网络以UNet为主干网络，并在U-Net中添加了shift-connection layer；判别器网络是一个5层的卷积网络(卷积核4x4）；
网络整体损失是guidance，reconstruction, and adversarial losses等三种损失的加权和。
ＦＣＮ
卷积网络部分可以用VGG、GoogleNet、AlexNet作为预训练的网络，然后进行上采样，根据上采样的倍数不一样分为FCN-8S、FCN-16S、FCN-32S
U-NET
U-net网络基于FCN，用于语义分割网络，也是编码器解码器结构。 首先进行Conv+Pooling下采样；然后Deconv反卷积进行上采样，crop之前的低层feature map，进行融合，也就是用将特征在channel维度拼接在一起；
然后再次上采样。重复这个过程，直到获得输出的feature map。
Shift-Net
Shift-Net是一种GAN网络，生成网络G以UNet为主干网络，并在U-Net中添加了shift-connection layer；同时还有一个判别器网络D是一个5层的卷积网络
损失函数
实验
定性比较
