https://github.com/neverUseThisName/Decorrelated-Adversarial-Learning
Decorrelated Adversarial Learning for Age-Invariant Face Recognition
Abstract
人們對跨年齡的人臉識別越來越感興趣。然而，年齡差距大的人臉匹配仍然是一個具有挑戰性的問題，這主要是由於年齡的增長導致的人臉外觀的顯著差異。為了減少這種差異，本文提出了一種新的算法，從混合了身份和年齡信息的特征中去除與年齡相關的成分。具體來說，我們將混合人臉特征分解為兩個不相關的分量:身份依賴分量和年齡依賴分量，其中身份依賴分量包含了對人臉識別有用的信息。為了實現這一思想，我們提出了去相關對抗學習(Decorrelated Adversarial Learning，DAL)算法，其中引入一個規范映射模塊(Canonical Mapping Module，CMM)來尋找由一個主干網生成的成對特征之間的最大相關性，同時訓練主干網和分解模塊來生成降低相關性的特征。因此，該模型學習了被分解的年齡和身份特征，其相關性被顯著降低。同時，身份依賴特征和年齡依賴特征分別由ID和年齡保留信號進行監督，以確保兩者都包含正確的信息。在流行的公共領域人臉老化數據集(FG-NET、MORPH Album 2和CACD-VS)上進行了大量實驗，驗證了該方法的有效性。
1. Introduction
人臉識別已經被研究了很多年，傳統的方法[30,25,29,51]和更近期的基於深度學習的算法[40,42,41,49,43,43,31,10]使用深度學習網絡取得了很好的性能，如[22,39,17,50]。其中許多模型在各種情況下甚至比人類還精確。然而，對不同年齡層的人臉進行識別仍有待探索。
近年來，隨着現代技術的發展[44,49,31,45,43,10]，引入了基於margin的度量和歸一化機制來訓練模型，以提高人臉識別的性能。然而，在跨年齡人臉識別(Age Invariant Face Recognition，AIFR)的情況下，這些方法往往缺乏識別能力。AIFR面臨的關鍵挑戰是由老化過程產生的顯著差異。圖1顯示了一個例子，同一身份的人臉圖像在不同年齡之間有很大的差異，而不同身份的人臉圖像共享相似的年齡相關信息。因此，那些年齡差距大的人臉就成為了當前人臉識別系統無法正確識別的hard examples。特別是，兒童和老人的面孔越多，身份內距離越大。
與此同時，跨年齡人臉識別(AIFR)的研究越來越受到人們的關注。目前關於AIFR的研究主要集中在生成（generative）模型和判別（discriminative）模型的設計上。生成方法[12,23,35]提出通過合成不同年齡的人臉圖像來輔助人臉識別。最近，一些研究[57,2,11]的目標是通過利用強大的GAN模型來提高生成的老化人臉的質量。然而，精確地模擬老化過程是困難和復雜的。合成人臉中的不穩定偽影會顯著影響人臉識別的性能。相比之下，判別方法在最近的研究中引起了越來越多的興趣。例如，[13]通過隱藏因素分析(hidden factor analysis, HFA)分離與身份相關的信息和年齡相關的信息。[48]基於類似的分析，並將HFA擴展到深度學習框架。最近，OE-CNN[46]提出了正交特征分解來求解AIFR。所有這些研究表明，在假設人臉信息可以通過分解后的分量很好地建模的前提下，特征分解在特征的不變性學習中發揮着關鍵作用。然而，被分解的分量之間實際上存在着潛在的相互關系，身份依賴分量還可能包含年齡信息。
在本文中，我們引入了一個深度特征分解學習框架，將混合人臉特征分解為兩個不相關的分量:身份依賴分量(xid)和年齡依賴分量(xage)。圖2說明了我們的特征分解模式。我們通過一個受[4]啟發的殘差映射模塊來實現這種分解。這意味着，年齡相關的嵌入是通過一個殘差映射函數xage = R(x)進行編碼的。我們有如下公式:x = xid + R(x)，其中x為初始人臉特征，xid為與身份相關的特征。
為了減少分解分量之間的相互變化，我們提出了一種新的去相關對抗式學習(DAL)算法，該算法對抗式地最小化了xid和xage之間的相關性。具體來說，引入了一個規范映射模塊來查找xid和xage之間的最大關聯，而主干和因式分解模塊旨在減少這種關聯。同時，xid和xage分別通過身份和年齡分類信號學習。通過對抗性的訓練，我們希望xid和xage能夠充分的不相關，並且可以顯著的減少xid中的年齡信息。
我們的主要貢獻總結如下:
1. 提出了一種基於線性特征分解的去相關對抗式學習算法（Decorrelated Adversarial Learning，DAL），以規范分解后的特征的學習。這樣，我們希望能夠捕獲用於AIFR的身份保持的跨年齡的特征。據我們所知，這是第一個將去相關對抗特征學習引入AIFR的工作。
2. 本文提出了批量典型相關分析(Batch Canonical Correlation Analysis，BCCA)，它是隨機梯度下降優化方法中CCA的推廣。提出的BCCA可以集成到深度神經網絡中用於相關性正則化。
3.該方法在包括MORPH Album2[37]、FG-NET[1]和CACD-VS[5]在內的AIFR數據集上顯著提高了最新性能，證明了該方法的有效性。
2. Related Work
Age-Invariant Face Feature Learning.
文獻中很多研究[15,24,27,7,26,28,5,6,13]都采用heuristic方法提取手工特征。例如，[26]開發了一種帶有局部特征描述子的多特征判別分析方法。[13]提出了隱藏因子分析(HFA)來建模特征因子分解，減少身份相關特征的年齡變化。[15]引入了一個有效的最大熵特征描述子和一個用於AIFR的魯棒身份匹配框架。最近的幾種方法[48,59,46]主要基於深度神經網絡。[48]開發了Latent Factor guided Convolutional Neural Network（LF-CNN)來提高HFA。[59]引入了Age Estimation guided CNN (AE-CNN)方法進行AIFR。OE_CNN[46]提出了正交嵌入分解方法，將身份信息編碼在angular空間，年齡信息表示在radial方向。本文提出了一種基於線性殘差分解的DAL算法。
Canonical Correlation Analysis. 規范相關分析(CCA)[18]是一種度量兩個多維變量之間線性關系的著名算法。之前的一些工作已經將該方法引入到各種場景下的人臉識別中。例如，[53]提出了一種使用CCA的2D-3D人臉匹配方法。[14]開發了一種人臉素描識別的多特征CCA方法。與這些典型的基於CCA的方法相比，我們的工作提出了將CCA擴展到深度神經網絡而用於AIFR的正則化方法。
Adversarial Approaches. 生成對抗網絡(GAN)[16]在各種生成任務中表現出了有效性，如人臉老化[57,2,11]，人臉超分辨率[55,8]等。此外，對抗性網絡也被用來改進判別模型。例如，[3]利用GAN對小人臉進行高分辨率處理，從而提高人臉檢測。[9]開發了一個對抗UV completion框架(UV-GAN)來解決跨位姿的人臉識別問題。[32]提出在一個對抗式的自動編碼器框架中學習身份提取特征和身份消除特征。[58]提出了一種對抗網絡來生成triplet特征樣本。在這項工作中，我們提出一種去相關對抗學習方法，以顯着最小化身份和年齡解耦分量之間的相關性，從而身份相關特征在不同年齡中是不變的。
3. Method
3.1. Feature Factorization
由於人臉包含內在的身份信息和年齡信息，人臉特征可以由身份相關特征和年齡相關特征共同表示。基於此，我們設計了一個線性分解模塊，將初始特征分解為這兩個不相關的部分。形式上，給定由主干CNN模型 
從輸入圖像p中提取的初始特征向量x∈Rd(即x = (p))，我們定義線性分解如下:
其中，xid表示身份相關的分量，xage表示年齡相關的分量。我們設計了一個類似於[4]的深度殘差映射模塊來實現這個功能。具體來說，我們通過映射函數
得到年齡相關的特征，剩余部分作為身份相關的特征。我們稱之為殘差因子分解模塊(Residual Factorization Module，RFM)，表示為:
在測試階段，僅使用與身份相關的特征進行人臉識別。希望xid編碼身份信息，而xage繪制年齡變化。我們同時將身份識別信號和年齡識別信號放到這兩個解耦的特征上，分別監督這兩個分量的多任務學習。圖3顯示了我們工作的總體框架。使用類似resnet的主干提取初始特征，在此基礎上建立殘差模塊進行特征分解。在這種分解的基礎上，我們提出了去相關對抗式學習，它將在下一節中介紹。
3.2. Decorrelated Adversarial Learning
通過特征因子分解，當年齡變化時，xid的身份能保持不變對AIFR至關重要。不幸的是，xid和xage實際上彼此之間存在潛在的關系。例如，xid和xage之間可能具有很高的線性相關性。因此，xid可能部分涉及年齡變化，從而對人臉識別產生負面影響。另一方面，xid和xage應該相互不相關，以強制進行non-trival的學習，這樣它們都可以改進自己。
為此，我們設計了一種有助於降低分解特征之間相關性的正則化算法，即去相關對抗學習算法(DAL)。DAL主要計算分解分量成對特征之間的規范相關性。
形式上來說，給定成對的特性xid、xage，我們設計一個線性規范映射模塊(CMM)，它將xid、xage映射到規范變量vid、vage:
其中wid、wage是規范映射的學習參數。然后，我們定義規范相關性為：
在此定義的基礎上，我們首先通過更新CMM來找到相對於wid、wage的最大|ρ|值，然后通過訓練主干和RFM來降低相關性。也就是說，一方面，我們凍結、，然后在規范相關性最大化過程中訓練
。另一方面，在特征相關性最小化過程中，我們固定，然后更新與。很明顯，在對抗性訓練過程中，他們會玩two-player min-max游戲來互相競爭。這樣，我們的目標是通過始終降低xid和xage之間的最大標准相關性來最小化它們之間的相關性。也就是說，相關性最大的最優特征投影作為去相關的主要目標。因此，xid和xage不斷學習，使其相關性很小，最終顯著不相關。
綜上所述，DAL的目標函數可表示為:
我們相信由DAL增強的強去相關將鼓勵xid和xage彼此充分地保持不變性。重要的是，這將提高xid在跨年齡人臉識別中的魯棒性。
3.3. Batch Canonical Correlation Analysis
與典型的典型相關分析方法（CCA）相比，本文引入了基於隨機梯度下降優化方法（SGD）的典型相關分析方法（BCCA）。由於幾乎不可能對整個數據集進行相關統計數據，因此我們采用類似於batch normalization[20]的策略來基於mini-batch計算相關統計數據。因此，它適合於深度學習框架。
給定mini-batch大小為m，我們有兩個分解特征集：
和
。因此，規范相關性可以寫成：
其中μid和σ2id分別表示vid的均值和方差，同樣地有μage和σ2age。其中ε是用於保證數值穩定的常數。
方程6作為BCCA的目標函數，我們利用基於SGD的算法對其進行優化。需要注意的是，在更新時，規范相關性值|ρ|必須最大化，而在訓練、時則必須最小化。梯度的推導如下:
因此，優化包括輸出ρ的前向傳播和計算更新的梯度的后向傳播。BCCA的詳細學習算法描述在算法1中。
3.4. Multi-task Training
在本節中，我們描述了多任務訓練策略來監督分解特征的學習。如圖3所示，有三個基本的監督模塊:年齡判別器、身份判別器和DAL regularizer。
Age Discriminator. 對於年齡信息的學習，我們將xage輸入到年齡判別器中，以保證年齡判別器的年齡信息。由於實際年齡標簽是粗糙的，帶有不確定的噪聲，我們采用[13,48]將年齡分為不同的組進行分類。我們使用帶有交叉熵損失的softmax層來進行年齡分類。
Identity Discriminator. 根據最近的研究[45,43]，我們利用CosFace損失來監督xid的學習並確保身份保持的信息。CosFace損失公式為:
其中N是身份的數量，yi是對應的身份標簽，
是第i個特征xiid和分類器第j個權重向量的角度cosine值。m是常量邊際，用來控制cosine邊際，s是常量scaling因子。CosFace損失的目的是在身份分類中引入更嚴格的約束，從而學習特征能夠通過在不同身份之間的邊際分隔開。在人臉識別中，一個適當大的m將使學習的特征中有強大的判別信息。
DAL Regularizer. 所提出的DAL regularization還參與了聯合監督來指導特征學習，這樣可以顯著降低成對分解的特征之間的相關性。通過聯合監督，模型同時學習激勵xid、xage的判別能力以及這兩個分解組件之間的去相關信息。
綜上所述，訓練是由以下多任務綜合損失來監督的:
其中，LID為CosFace損失，LSM為帶交叉熵的softmax損失，其中，為平衡這三種損失，還使用了標量超參數λ1和λ2。其中，在測試階段，我們提取身份相關特征xid用於AIFR評估。
3.5. Discussion
該方法具有以下優點。首先，特征的DAL正則化有助於促進分解分量之間的不相關和 co-invariant信息。相關的研究如HFA[13]， LF-CNN[48]， OE-CNN[46]都忽略了潛在的相關性。相反，我們的目標是同時最小化分類誤差和相關性影響的。第二，BCCA是CCA的擴展，並插入到深度學習框架中，這樣整個模型就可以在端到端的過程中進行訓練。最后，我們的方法可以很容易地推廣到其他成分分解模型，如位姿、光照、情緒等。據我們所知，我們是第一個為AIFR開發去相關對抗正則化框架的人。
4. Experiments
4.1. Implementation Details
Network Architecture.
(1)主干網:我們的主干網絡是一個64層的CNN，類似於[46]。由4個stages組成，分別為3、4、10、3個堆積殘差塊。每個殘差塊有3個堆疊單元“3x3 Conv + BN + ReLU”。最后一個FC層輸出512維的初始人臉特征（這里說的是）。
(2)殘差因子分解模塊(RFM):將初始人臉特征通過2個“FC +ReLU”（這里說的是，RFM，輸入輸出維度相同，即512）映射成年齡相關特征，與初始特征相減剩余部分作為身份相關特征。
(3)年齡判別器:將3個“FC +ReLU”疊加在xage上，進行年齡分類。
(4) 身份判別器:直接使用xid進行CosFace loss的識別。
(5) DAL regularizer:將xage和xid分別輸入一個FC層（這里說的是，這里的fc層輸入為512，輸出為1），輸出它們的線性組合，用於BCCA的計算和優化。
剩下省略
5. Conclusion
在本文中，我們提出了AIFR的去相關對抗學習(DAL)方法。我們的模型學會了在對抗性的過程中最小化身份和年齡成對分解的特征之間的相關性。我們提出了批量典型相關分析(BCCA)算法，作為CCA在深度學習中的擴展。除DAL外，我們在身份和年齡分類的共同監督下，同時對模型進行訓練。在測試中，僅使用身份特征進行人臉識別。在AIFR基准上進行的評估證明了我們的方法的優越性。