Image Inpainting for Irregular Holes Using Partial Convolutions
pytorch代碼
論文貢獻:
- 提出了部分卷積(partial convolutions),使得在每一層都使用上一層跟新后的mask,在圖片修復上取得了state-of-the-art 的結果。
- 提出了U-net類型的網絡結構,區別在於將傳統u-net中的卷積層替換為部分卷積層,解碼模塊的RELU替換為LeakyRELU。
- 首次提出對於非規則孔洞的圖片修復
- 提出了一個大的非規則的帶mask的圖片修復數據集。
引言
PCONV將卷積分為了輸入圖片的卷積和輸入掩碼mask的卷積,只在圖片的有效區域進行。
之前的論文都是只在第一層使用mask,mask也不會得到更新,本文的partial convolutions,每次都使用更新后的mask。 能夠有效的處理不規則的mask。
網絡架構
MASK(二值掩碼)每層的更新過程
Feature和Mask更新流程圖
PCONV Layer的代碼實現
框架實現
損失函數
實現結果