Image Inpainting for Irregular Holes Using Partial Convolutions
pytorch代码
论文贡献:
- 提出了部分卷积(partial convolutions),使得在每一层都使用上一层跟新后的mask,在图片修复上取得了state-of-the-art 的结果。
- 提出了U-net类型的网络结构,区别在于将传统u-net中的卷积层替换为部分卷积层,解码模块的RELU替换为LeakyRELU。
- 首次提出对于非规则孔洞的图片修复
- 提出了一个大的非规则的带mask的图片修复数据集。
引言
PCONV将卷积分为了输入图片的卷积和输入掩码mask的卷积,只在图片的有效区域进行。
之前的论文都是只在第一层使用mask,mask也不会得到更新,本文的partial convolutions,每次都使用更新后的mask。 能够有效的处理不规则的mask。
网络架构
MASK(二值掩码)每层的更新过程
Feature和Mask更新流程图
PCONV Layer的代码实现
框架实现
损失函数
实现结果