本文對人臉圖像操縱技術進行了全面的綜述,包括 DeepFake 方法以及檢測此類操縱技術的方法。具體而言,本文綜述了四種人臉操縱類型:整張人臉的合成、換臉(DeepFake)、人臉屬性操縱和人臉表情操縱。對於每種人臉操縱類型,本文詳細介紹了其相關的人臉操縱技術、現有的公共數據庫,以及用於評估人臉操縱檢測方法的重要基准,包括對這些評估結果的總結。
四種人臉操縱任務如下:
-
人臉合成:通常利用強大的 GAN(如近期的 StyleGAN 方法)創建完全不存在的人臉。這些技術獲得了驚人的結果,其生成的高質量人臉圖像栩栩如生。圖 1 展示的人臉合成樣本即通過 StyleGAN 生成;
-
換臉:即將一個人的臉換成另一個人的臉。該領域通常采用兩種不同的方法:1)經典的計算機圖形學技術,如 FaceSwap;2)新型深度學習技術 DeepFake,如近期的移動應用 ZAO;
-
人臉屬性操縱:即修改人臉的某些屬性,如發色、膚色、性別、年齡、是否戴眼鏡等。該操縱過程通常使用 GAN 完成,如 StarGAN。該類型的典型示例是流行的移動應用 FaceApp;
-
人臉表情操縱:即修改人臉表情,如將一個人的面部表情遷移到另一個臉上。最流行的技術之一是 Face2Face,該技術可實時進行。近期方法展現出巨大潛力,可以生成高質量的視頻,上述視頻中人物(如奧巴馬)的發言已被改變。
1. 人臉合成
完整的人臉合成數據集:

這些數據庫都不提供真實人臉照片。真實人臉往往從CelebA、FFHQ、CASIA-WebFace、VGGFace2考慮。而上表中的假人臉往往都是利用GAN,特別的利用StyleGAN生成。有了真假照片,就有一些檢測方案被提出用來識別圖像是真是假:

2.換臉
和整張臉合成不同,換臉往往針對檢測一個視頻是真或假。下面的數據集同時提供了真和假的數據。下表也給出了假臉的合成方法。

下表給出了檢測真假臉的方案:

3. 人臉屬性
數據集相對少,因為可以利用許多開源的GAN網絡來自己生成。著名的有IcGAN和StarGAN、GauGAN。一些檢測方案如下:

4. 人臉表情
目前的人臉表情數據庫只有Forensics++,一些檢測方案有:

