Cross-Domain Similarity Learning for Face Recognition in Unseen Domains
Abstract
在相同的訓練和測試分布假設下訓練的人臉識別模型，當面對未知的變化時，例如在測試時如果出現新的種族或不可預測的個人裝扮，往往會出現泛化不良的情況。在本文中，我們引入了一種新的跨域度量學習損失，我們稱之為 dub Cross-Domain Triplet (CDT)損失，以提高未知區域的人臉識別。CDT損失通過強制得到一個域的身份的緊湊特征集群去鼓勵學習語義上有意義的特征，其中的緊湊性是通過屬於不同統計數據的另一個訓練域的潛在相似度度量來測量的。直觀地說，它將來自一個域的顯式度量標准與來自另一個域的triplet樣本在一個統一的損失函數中有區分地關聯在一起，然后進行最小化，從而能更好地將訓練域對齊。在模型不可知的學習pipeline中，網絡參數進一步被強制用於在域轉移下學習泛化特征。不同於最近的Meta Face Recognition [18]的工作，我們的方法在訓練期間不需要仔細的hard-pair樣本挖掘和過濾策略。在各種人臉識別基准上的大量實驗表明，與基線和最先進的方法相比，我們的方法在處理變化方面具有優勢。
1. Introduction
使用深度神經網絡的人臉識別在流行的評價基准上顯示出了良好的結果[21,25,26,23]。目前許多方法都假設訓練數據(CASIA-Webface[46]或MS-Celeb-1M[19]是廣泛使用的數據)和測試數據具有相似的分布。然而，當部署到真實場景時，這些模型通常不能很好地泛化到未知統計數據的測試數據上。在人臉識別應用中，這可能意味着訓練數據和評估數據之間的屬性(如種族、性別或年齡)發生變化。另一方面，收集和標記更多有着代表性不足的屬性的數據是很昂貴的。因此，給定現有數據，需要學習算法來產生通用的人臉表征，從而適用於各種不同的場景。
最近出現了域泛化來解決同樣的挑戰，但主要用於類數有限的目標分類[3,9,32]。它的目的是利用具有不同分布的多個標記源域來學習一個在測試時能很好地泛化未知目標數據的模型。然而，許多域泛化方法都是針對closed-set場景而定制的，因此，如果域的標簽空間是不相交的，則不直接適用。泛化人臉識別確實是open-set應用的一個突出例子，具有非常多的類別，鼓勵在這一領域的進一步研究。
在本文中，我們介紹了一種通過學習語義有意義的表征來改善未知領域的人臉識別問題的方法。為此，我們受到了最近在few-shot學習[31]、域泛化[9]和人臉識別[22]方面的工作的激勵，揭示了一個普遍的事實，即在訓練模型時，利用來自不同源的訓練數據之間的語義一致性概念是十分有益的。因此，我們引入了基於triplet目標[36]的Cross-Domain Triplet (CDT) 損失，通過考慮兩個域來學習有用的特征，其中一個域提供的相似性度量用在另一個域中去學習緊湊的身份特征集群(圖1)。
這種相似性度量是通過協方差矩陣進行編碼的，借鑒了[31]的思想。不同於[31],我們沒有使用特定類的協方差矩陣,而是在域對齊機制中拋出問題,首先我們的模型估計了anchor和正/負樣本之間的特征分布 ,即來自一個域的正/負對的相似性度量(即圖1的Σ+和Σ−)。然后,我們利用這些相似度指標，並將其應用於另一個域的triplets，以學習緊湊的集群。由於理論見解和實驗評估的支持，我們的CDT損失以一種有區分度的方式去對齊兩個域的分布。此外，根據最近的研究[9,18]，通過利用元學習框架，我們的網絡參數可以在域轉移下進一步學習泛化特征。
我們的實驗證明了我們使用了Cross-Domain Triplet 損失方法的有效性，在使用 Cross-Ethnicity Faces (CEF) [39]和Racial Faces in-the-Wild (RFW) [44]基准數據集進行未知種族人臉識別的實際場景中，該方法始終優於目前最先進的方法。此外，經驗評估表明，它可以很好地處理跨其他變化的人臉識別。
總之，我們引入了一種有效的Cross-Domain Triplet損失函數，利用一個域內存在的顯式相似度度量，從另一個域學習緊湊的身份集群。這將有助於從未知領域中學習有意義的人臉識別表征。為了進一步將網絡參數暴露於域偏移中，從而獲得更泛化的特征，我們還將新的損失納入模型不可知的學習pipeline中。我們的實驗表明，我們提出的方法在未知域數據集的標准人臉識別方面取得了最先進的結果。
2. Related Work
Face Recognition. 隨着深度神經網絡的成功，近年來在人臉識別方面的研究極大地提高了性能[46,36,35,43,7,37,6]，這要歸功於大量可供處理的標記數據。許多損失設計在大規模網絡訓練中被證明是有效的，例如，CosFace[43]提出了利用余弦流形中的損失邊際來擠壓分類邊界，ArcFace[7]將邊界邊際和角邊際相結合來獲得更好的分類效果。最近，URFace[37]提出了樣本級置信度加權余弦損失和對抗性去相關損失，以得到更好的特征表征。
通常，人臉識別算法推測訓練數據(如CASIA-WebFace[46]或MS-Celeb-1M[19])和測試數據遵循類似的分布。然而，最近的研究[18,39]表明，由於在實踐中處理未知數據的泛化能力較差，這類系統的性能並不理想。這使得意識到測試時分布是變化的人臉識別模型更加有利。此外，在最小化分布差異時，考慮類別信息是至關重要的，以避免不同域[24]中不同類別樣本的不對齊。
Meta-learning and Domain Generalization. 元學習(又稱learning to learn[41])可以提高模型的泛化能力，這是一個公認的事實。起源於Model-Agnostic Meta-Learning(MAML)[16]的episodic訓練方案已被廣泛用於few-shot learning[40,38]、從未知的分布中識別目標的域泛化[29,3,32]和最近從未知域[18]進行人臉識別中。其基本思想是通過從可用的訓練數據中創建episodic訓練/測試splits來模擬訓練/測試在每一輪訓練中的分布差距。其他一些例子包括Model-Agnostic learning of Semantic Features (MASF)[9]，它對齊一個soft混淆矩陣來保留類間關系的知識，Feature Critic Networks[32]提出了學習輔助損失來幫助泛化，而Meta-Learning Domain Generalization (MLDG)[28]通過在每批訓練中合成虛域來產生域偏移。
解決未知場景的嘗試要么是將現有的類方差轉移到未充分表示的類[47]，要么是通過各種擴展[37]學習通用特征。最近的一項研究是Meta Face Recognition(MFR)[18]，它的損失是由hard樣本的距離、身份分類和域中心之間的距離組成的。然而，簡單地對訓練域的中心進行對齊並不一定會對齊它們的分布，可能會導致不良的影響，例如，對齊來自不同域[24]的不同類樣本。因此，這種損失組件並不總是能提高識別(see w/o da. rows in Asian and Caucasian sections of Table 10 in [18])。
3. Proposed Method
在這一節中，我們提出了我們的方法，通過學習語義上有意義的表征來改善未知域的人臉識別問題。為此，我們受到了近期研究的啟發[31,9,22]，這些研究表明，在訓練模型時，利用來自不同分布的數據之間的語義一致性概念是十分有益的。我們通過強制得到一個域緊湊的身份集群來學習語義上有意義的特征，而該緊湊性是由屬於不同統計數據的另一個領域的基礎相似度度量來衡量的。事實上，我們提取了被編碼為跨具有不同標簽空間的域的相似性度量 的知識。
我們從介紹整個網絡架構開始。我們的架構遵循了典型的圖像/人臉識別設計。其包含了參數為
的特征學習網絡
、參數為
的嵌入網絡
、參數為
的分類網絡
。遵循標准的設置[3,9,18]，和都是輕量級網絡，即一組全連接層，以的輸出為輸入。更具體來說，前向傳播一張圖
到，然后輸出張量
，經過flatten后，將其作為分類器和嵌入網絡的輸入。
在深入研究更多細節之前，我們首先回顧一下我們公式中使用的一些基本概念。然后，我們說明了我們的主要貢獻是從多個有着不相交的標簽空間的源域中學習泛化特征。最后，我們將該解決方案合並到一個模型不可知算法中，該算法最初基於Model-Agnostic Meta-Learning (MAML)[16]。
3.1. Notation and Preliminaries
在論文中，我們使用加粗小寫字母(如
)表示列向量，使用加粗大寫字母(如
)表示矩陣。dxd單位矩陣表示為
。使用張量
表示k階的多維數組，即
。
表示中在位置
的元素。
在黎曼幾何(Riemannian geometry)中，歐式空間
是一個內積定義為
的黎曼流體。在中，
，Mahalanobis distances類被表示為：
其中
是一個Positive Semi-Definite (PSD) 矩陣 [27]， 以特征的區域協方差矩陣為例[10,15]。當矩陣
趨近於時，該距離將變為為歐式距離(L2)。Mahalanobis 度量學習的目的是確定，因此
通過擴展或收縮的軸賦予某有用的特性。
在用於度量學習的通用深度神經網絡中，在損失層(如contrastive[20]或triplet[36])前添加一個權重矩陣為
的全連接層去將數據的嵌入轉換一個降維空間中[12,13,36]。然后，因為是一個PSD矩陣且可分解為
，一個batch中的兩個樣本x和y的平方L2距離可計算為：
其中
表示網絡輸入為x的輸出
在本論文中，我們使用正(負)圖像對來表示具有相同(不同)身份的人臉圖像。此外，一個triplet(anchor、正、負)由一個anchor人臉圖像、一個來自同一身份的樣本和一個來自不同身份的圖像組成。
3.2. Cross-Domain Similarity Learning
在這里，我們對人臉識別場景進行處理，在訓練期間，我們觀察k個源域，每個源域具有不同的屬性，如種族。在測試時，將網絡用於一個具有不同身份和屬性的個體樣本的新的目標域。我們將這一問題描述為在triplet損失[36]目標函數的基礎上使用一種新的損失來優化網絡，我們稱之為dub Cross-Domain Triplet損失。Cross-Domain Triplet損失接受來自兩個域
和
的輸入，估計來自一個域(如)的正負對的潛在分布,分別去測量其他域（如）(anchor,正)和(anchor,負)樣本的距離。然后使用計算的距離和一個預先定義好的邊際值，應用標准triplet損失函數。
讓
表示來自第j域（
）的一個batch中的
個triplets，我們能夠考慮來自其的正樣本
。為了簡化，我們省略了j上標。我們連接每個圖像的所有局部描述符去通過一個協方差矩陣估計潛在分布。具體說來，我們前向傳播每個正圖像對(a,p)，通過
網絡去獲得特征張量表征
。我們把問題放在成對差異的空間中。因此，我們定義張量
。接下來，我們將最終張量
展開成一個向量
。這允許我們在成對差異空間中計算正對的協方差矩陣：
同樣的，我們使用B個負對
，我們計算每個(a,n)的
，然后將
展開成一個向量
。這樣負對的協方差矩陣可定義為：
考慮到一批圖像有足夠的樣本，由於在協方差計算中每個人臉圖像都有HW個樣本，因此可以得到一個有效的PSD協方差矩陣。此外，batch size大的樣本可以根據[1,8]令人滿意地近似得到相應的域分布。
我們的Cross-Domain Triplet損失
通過利用利用定義在(2)的
以相似的方式去實現，使用來自另一個域的相似性度量去計算樣本的距離。給定來自域的triplet圖像
和使用(3)和(4)分別計算得到的來自域的
，該損失定義為：
其中
是預先定義好的邊際值，
是合頁函數(hinge function)。我們利用類平衡采樣為協方差和Cross-Domain Triplet損失計算提供輸入，因為該采樣已在長尾識別問題[18,33]中被證明能得到更有效的結果。
Insights Behind our Method. 我們方法的重點是定義在兩個有着不同分布的域上的樣本的
距離。如果從分布中得到
，則與的乘積會根據經驗協方差矩陣得到一個距離，這樣對整個點的優化可以轉化為對域的對齊。更具體來說，假設為PSD，那么則存在特征分解，即
。將該項展開可得：
其將與被相應特征值加權的的特征向量關聯起來。當在經驗協方差矩陣的主特征向量的方向上時，該公式得到最大值。換句話說，因為的特征向量是輸入數據有着最大方差的方向，所以在r向量上最小化這一項會導致兩個數據源的對齊。圖2描述了我們損失的基礎流程。
3.3. A Solution in a Model Agnostic Framework
遵循最近域泛化任務的趨勢，我們在模型不可知的學習框架下使用基於梯度的meta-train/meta-test集，以進一步揭示分布轉移的優化過程[9,32,18]。算法(1)總結了我們的整體訓練過程。更具體地說，在每一輪訓練中，我們將輸入源域划分為一個meta-test，其余的作為meta-train域。我們從每個域隨機抽取B個triplets來計算我們的損失。首先，我們基於分類和triplet損失的總和
去計算兩個協方差矩陣
和
和臨時的參數集
。網絡被訓練為能在meta-test域表現良好的程度，因此、和被用在meta-test域計算損失
。該損失還有額外的CDT損失
，其涉及用於域對齊的跨域相似度。最終，模型參數使用和的累積梯度去更新，因為該更新方法被證明比原始的MAML[2,18]更有效。在這里，累積的損失提供了額外的正則化來使用高階梯度更新模型。下面，我們提供了身份分類和triplet損失的細節。
分類訓練信號對於人臉識別應用來說是十分重要的。因此，我們使用標准Large Margin Cosine Loss (LMCL) [43] 作為我們的身份分類損失，如下所示：
其中y是圖像
的ground truth身份，
是分類器網絡，
是
中身份yi的權重向量，s是一個縮放乘數，m是邊際值。
我們進一步鼓勵
網絡根據來自某個域的身份去學習緊湊的語義特征。最終我們使用的是triplet損失。triplet損失使用標准的L2距離函數
為每個triplet提供訓練信號，使a和n之間的距離比a和p之間的距離加上預定義的邊際值ρ的值還要大。式子如下所示：
要注意的是，
在計算損失前都進行了L2正則化。
操作的是
輸出的表征。
4. Experiments
在本部分中，為了復現模型，我們首先提供模型實現細節。在此基礎上，給出了基於未知域的人臉識別實驗結果。我們通過對算法的重要組成部分的消融分析來結束本節。據我們所知，Meta Face Recognition (MFR) [18]是解決同樣問題的最新研究。因此，我們將我們的方法與MFR在所有評估中進行比較。我們還將CosFace[43]、Arcface[7]和URFace[37]的性能作為基線。
Implementation Details. 我們模型使用Pytorch[34]實現。我們的基線模型使用了一個最終層為一個全連接層的28層的ResNet模型，生成了一個
的嵌入空間，即在測試時最終生成的特征空間。在我們的設計中，
是全連接層前的backbone模型，
接着生成對數結果，同時
堆疊了一個額外的全連接層去映射輸入到一個
低維空間。至於優化器，我們使用權重衰減為0.0005且momentum為0.9的隨機梯度下降方法。在算法(1)中，batch size B設置為128，α和β設置為1e-4且每1000步衰減一半，λ設置為0.7。我們設置分類器邊際值m為0.5,邊際和ρ則設置為1。
4.1. Cross Ethnicity Face Verification/Identification
作為我們的第一組實驗，我們解決了從沒見過的種族中識別人臉的問題。在這里，評估協議是將一個種族排除在外，即從訓練集中排除某一個種族(域)的樣本，然后在這個被擱置的域樣本上評估模型的性能。
Datasets. 為了進行評估，目前推薦了兩組用於研究人臉跨種族識別性能的數據集，即Cross-Ethnicity Faces (CEF) [39] 和Racial Faces in-the-Wild (RFW) [44]數據集。CEF數據集從MS-Celeb-1M[19]中選取，由高加索、非洲裔、東亞和南亞四種族裔圖像組成。我們將最后兩個集合合並為一個族域，即亞洲人。每個域有200個身份，每個身份有10張不同的圖。請注意，CEF中的身份與我們用來訓練模型的MS-Celeb-1M數據集是不相交的。類似地，RFW是MS-Celeb-1M數據集的另一個跨種族評估基准，該數據集有四個種族子集:高加索人、非洲人、亞洲人和印度人。CEF只有測試樣本，而RFW提供跨域的訓練和測試數據。
Effect of Ethnicity Bias in Trainning Data. 需要注意的是，大多數公開的人臉數據集都是通過查詢名人來從網絡上收集的。這導致了對白種人的顯著性能偏好。例如，在MS-Celeb-1M數據集中，82%的數據是白人圖像，而只有9.7%的非洲裔美國人，6.4%的東亞人和加在一起不到2%的拉丁裔和南亞人[39]。
為了進一步強調種族偏好對人臉識別模型訓練數據的影響，我們使用帶有種族標簽的注釋MS-Celeb-1M數據集和CEF測試集進行了實驗。為了訓練模型，我們考慮了兩種情況:1)只使用單個測試種族的訓練樣本;2)來自所有種族的所有訓練樣本。我們報告兩個標准評估指標，即驗證准確性和識別准確性。為了計算驗證准確度，我們遵循[21]提出的標准協議，從中構造10個split，並報告總體平均值。每個split包含900個正對的和900個負對，每個split的准確度使用從其余9個split中找到的閾值計算。正如[39]所指出的，在人臉識別系統中，在測試時處理來自新種族的人臉圖像時，識別准確度的下降幅度更大。因此，我們也報告了[39]提出的識別准確率數字。更具體地說，，如果沒有其他來自不同身份的圖像在距離上比查詢更接近引用，那么我們認為一個引用和查詢的正對是正確的（即引用圖和查詢圖是同一個人）。
本實驗結果見表1。這里可以得出幾個結論。首先，結果表明，不管訓練樣本的數量如何, 僅在特定族群樣本上訓練的網絡，往往在同一族群上表現得更好。第二，每一列中第二好的數字與最后一行中對應的上限非常接近(這里的“All”是指在訓練過程中考慮所有種族的所有訓練樣本)。相比之下，identification分數下見過的域和沒見過的測試域之間值的差距非常大，僅使用白種人樣本)進行訓練時，CA和AA之間的差距超過20%。這清楚地表明，這種偏好可能會使人臉識別系統在未知域上得出無效的結論。一項相關的研究[42]表明了訓練數據中噪聲對人臉識別的影響。
我們注意到，對於預訓練，MFR方法利用了MS-Celeb-1M數據集，但沒有從訓練數據中移除目標族裔樣本。正如我們在上面的實驗觀察和討論，這在解決泛化人臉識別問題時造成了困難。因此，在本節中，我們采用MFR來考慮未知域的人臉識別。因此，我們首先的目標是從我們的訓練數據中消除這種偏差。為此，我們在帶有ground-truth族裔標簽的手動標注的人臉圖像上訓練一個族裔分類器網絡。每個種族的圖像數量在5K到8K之間變化。然后，利用該網絡找到數據集中每個個體的正確種族標簽。這允許我們在處理跨種族人臉識別時，刪除特定領域的所有已知樣本。
Training Data. 為了訓練我們的模型，我們使用了帶種族標簽注釋的MS-Celeb-1M數據集。在RFW實驗中，我們使用RFW訓練集對模型進行進一步訓練，同時遵循leave-one-ethnic-out測試協議。在每個身份只有一個訓練樣本的情況下，我們使用了圖像的隨機增強方法，以生成一個正對。[37]提出的增強方法是高斯模糊和遮擋的隨機組合。由於RFW與MS-Celeb-1M具有重疊的身份，因此在MFR之后，我們首先刪除這些重疊的身份樣本，制作MS-C-w/o-RFW，即MS-Celeb-without-RFW數據集。
Evaluation Metrics. 在測試時，將提取的每幅圖像及其翻轉版本的特征向量進行串接，作為圖像的最終表征。我們用余弦距離來計算距離。在性能評估方面，我們使用Receiver Operating Characteristic(ROC)曲線，報告了在不同的False Acceptance Rate(FAR)水平(0.001、0.01和0.1)下的True Acceptance Rate(TAR)。此外，我們報告了Rank-1准確性，即如果probe圖像與所有gallery圖像匹配后，排名第一的結果是相同的（即身份是相同的），則認為該對probe圖像和gallery圖像是正確的。
Results on the CEF Testing Set. 在表2中，我們將我們的結果與最先進的技術在所有四種leave-one-domain-out場景中的結果進行了比較。注意，在這里的源域中沒有像印度種族那樣的注釋人臉圖像。我們的方法，配備了 Cross-Domain Triplet 損失，優於最新的MFR方法。我們相信，這清楚地顯示了我們方法的好處，它允許我們從標記的源人臉圖像中學習跨域相似性，從而為沒見過的域提供更好的表征。
Results on the RFW Dataset. 在表3中，使用了RFW數據集，我們將我們的結果與上述leave-one-ethnic-out協議中描述的最先進方法的結果進行了比較。在前面的實驗中，我們的方法在所有情況下都是最好的。在FAR@0.1 度量下，以非裔美國人和印度人的圖像作為測試域，我們的算法與競爭對手MFR之間的差距超過3%。CosFace方法被認為是基線方法，是性能最差的方法，說明學習泛化特征在人臉識別中的重要性。
4.2. Handling Other Variations
為了證明我們的方法是通用的，並且可以在測試期間處理其他常見的變化，我們考慮了額外的實驗。遵循MFR[18]提出的標准協議，在所有實驗中，以種族標注的完整訓練數據作為我們的源域。
Cross age face verification and identification. 首先，我們考慮使用跨年齡名人數據集(CACD-VS)[4]進行實驗。該數據集提供等量的4k個正、負跨年齡圖像對，構成人臉驗證任務的測試子集。本實驗結果如表4所示，其中我們也報道了ROC曲線下面積(Area Under The ROC Curve, AUC)以及驗證准確度數字。該表表明，雖然我們的方法在FAR@0.001測量下優於最近的MFR方法，但在其他評估指標下，其工作競爭力非常接近。在AUC衡量下，我們獲得了與MFR完全相同的性能。在所有的比較中，我們的方法優於LF-CNNs[45]之前的工作。
Near infrared vs. visible light face recognition. 接下來，我們考慮使用CASIA NIR-VIS 2.0人臉數據庫[30]進行實驗。在這里，gallery人臉圖像是在可見光下拍攝的，而probe圖像是在近紅外光下拍攝的。表5顯示，我們的方法始終優於競爭對手。
Cross pose face recognition. 最后，我們考慮了一個使用 Multi-PIE cross pose數據集的實驗[17,35]。與之前的實驗相似，我們的方法優於競爭對手，如表6所示。
4.3. Ablation Analysis
在本節中，我們進一步進行實驗，展示算法1的重要組成部分對驗證准確度的影響。在此分析中，我們使用RFW數據集的高加索人子集作為沒見過的域，其他所有域的其余數據作為源域。
我們首先研究當不同的損失組件被排除在我們的算法之外時，最終識別精度數字是如何變化的。這里不同的組件是身份分類、triplet和cross-domain triplet損失，分別用
、
和
表示。實驗結果如表7所示。如表所示，我們總體損失的每個組成部分，都對最終的性能有重要的貢獻，因為排除它們中的任何一個都會導致性能的持續下降。進一步比較不同的損失項，我們發現我們提出的CDT損失在這里扮演着更重要的角色，因為沒有這個損失組件，性能會顯著下降。例如，FAR@0.1在沒有的情況下下降了2%以上。
此外，我們方法中的一個超參數是meta-train和meta-test損失的貢獻率，即
和
。這是由算法1中的超參數λ決定的。在圖3中，我們展示了在將RFW數據集的高加索人子集考慮為目標域時，改變λ對FAR@0.001度量的影響。我們觀察到，接近0.7的值給出了最好的結果。
5. Conclusions
我們已經引入了一個跨域度量學習損失，它被稱為dubbed Cross-Domain Triplet (CDT) 損失，它利用兩個觀測域中共同包含的信息來提供更好的域對齊。本質上，它首先考慮一個數據分布的相似性度量，然后以類似於triplet損失的方式，使用度量來強制屬於另一個域的身份得到緊湊的特征集群。直觀地說，CDT損失將從一個域獲得的顯式度量值與從另一個域獲得的triplet樣本在一個統一的損失函數中有區別地關聯起來，從而在網絡中最小化，這將導致更好的訓練域對齊效果。我們也在元學習pipeline中加入了損失，以進一步加強網絡參數在域偏移下學習泛化特征。在各種人臉識別基准上的大量實驗表明，我們的方法在處理變化方面具有優越性，其中種族是最重要的變化。在未來，我們將研究如何在我們的框架中使用協方差矩陣的通用形式(例如[5]中使用的協方差矩陣)。