摘要
提出一種雙階段框架實現高保真和對遮擋感知的換臉。之前的方法只利用了目標臉的信息。本文的方法第一階段生成高保真的臉，具體通過屬性編碼來提取多級目標人臉的屬性，和一個新的生成器來自適應嵌入身份類別和屬性。為了解決面部遮擋，第二階段利用HEAR-Net通過自監督方法來恢復這些有問題（遮擋物）的區域。
介紹
人臉交換只是將target臉換到source臉中，同時要保留source臉中的面部表情、光照、背景等。難點是如何提取和自適應的結合兩張圖象中的身份和屬性。為實現高保真的人臉交換結果，第一階段設計了基於GAN的網絡：AEI-Net。第二階段利用HEAR-Net來優化遮擋區域。這個雙階段網絡FaceShifter是subject agnostic的，可以直接用於新的人臉對而無需像DeepFakes等進行specific training。
方法
第一階段
輸入分別為source image 和target image。
上圖（a）為整個第一階段流程。身份編碼器、多級屬性編碼器、自適應注意力去正則化生成器。
1）身份編碼器：全連接層之前的特征
2）多級屬性編碼器：屬性包括姿態、表情、光照和背景，需比身份更多的空間信息。利用UNet型進行提取。自監督：生成的臉和target臉有一樣的屬性。
3）自適應注意力去正則化生成器：嵌入身份和屬性的特征來生成新的合成人臉。之前直接進行特征鏈接導致結果焦糊。本文受到AdaIN啟發利用去正則來實現多級特征級別的特征嵌入。如（c）所示，在嵌入之前實現實例正則化IN。
對應於這三個模塊的LOSS如下：
第二階段
Heuristic Error Acknowledging Refinement Network（HEAR-Net）
第二階段的任務就是復原那些遮擋區域。可以從上圖（a）看到第一階段得到的人臉沒有遮擋部分。而輸入圖和重構圖的差就可得到這些遮擋東西，為此利用這點來優化。（b）描述了這一過程。loss如下：
