Shift-Net: Image Inpainting via Deep Feature Rearrangement
Pytorch
引言
存在問題：傳統的基於PatchMatch，無法捕獲圖像的全局結構。基於CNN的使得修復結果模糊並且缺乏精細的紋理細節。
解決問題：提出了一種新的基於CNN的方法-ShiftNet。ShiftNet是一種GAN網絡；生成網絡以UNet為主干網絡，並在U-Net中添加了shift-connection layer；判別器網絡是一個5層的卷積網絡(卷積核4x4）；
創新點：對於普通的U-net增加shift-connection layer，然后用已知區域的特征來shift到缺失區域。另外利用guidance loss來最小化decoder feature和gt的encoder feature的損失
本文提出了一種新的基於CNN的方法-ShiftNet。ShiftNet是一種GAN網絡；生成網絡以UNet為主干網絡，並在U-Net中添加了shift-connection layer；判別器網絡是一個5層的卷積網絡(卷積核4x4）；
網絡整體損失是guidance，reconstruction, and adversarial losses等三種損失的加權和。
ＦＣＮ
卷積網絡部分可以用VGG、GoogleNet、AlexNet作為預訓練的網絡，然后進行上采樣，根據上采樣的倍數不一樣分為FCN-8S、FCN-16S、FCN-32S
U-NET
U-net網絡基於FCN，用於語義分割網絡，也是編碼器解碼器結構。 首先進行Conv+Pooling下采樣；然后Deconv反卷積進行上采樣，crop之前的低層feature map，進行融合，也就是用將特征在channel維度拼接在一起；
然后再次上采樣。重復這個過程，直到獲得輸出的feature map。
Shift-Net
Shift-Net是一種GAN網絡，生成網絡G以UNet為主干網絡，並在U-Net中添加了shift-connection layer；同時還有一個判別器網絡D是一個5層的卷積網絡
損失函數
實驗
定性比較
