Circle Loss: A Unified Perspective of Pair Similarity Optimization
Abstract
本文提出了一種在深度特征學習中使用的成對相似度優化的觀點，旨在使類內相似度sp最大化，類間相似度sn最小化。我們發現大多數損失函數，包括triplet損失和softmax交叉熵損失，將sn和sp嵌入到相似對中，並盡力減少(sn−sp)。這種優化方法是不夠靈活的，因為每個相似度評分上的懲罰強度都是相等的。我們的直覺是，如果相似度與最佳值相差甚遠，就應該予以強調，即懲罰強度應該更大點。為此，我們簡單地重新加權每個相似度來突出未優化的相似度分數。由於它的判定邊界是圓的，故稱Circle loss。對於兩種基本深度特征學習范式，即class-level標簽學習（即softmax交叉熵損失這種學習方式）和pair-wise標簽學習（即triplet損失這種需要構造對的學習方式），Circle loss都有一個統一的公式。通過分析，我們表明，與損失函數優化(sn−sp)相比，Circle loss提供了一種更靈活的優化方法，可以獲得更明確的收斂目標。通過實驗，我們證明了在各種深度特征學習任務中Circle loss的優越性。在人臉識別、行人再識別以及幾個細粒度圖像檢索數據集上，所取得的性能與目前的技術水平相當。
1. Introduction
本文對兩種基本深度特征學習范式——class-level特征學習和pair-wise特征學習——持有同一個相似度優化觀點。前者使用分類損失函數(如softmax交叉熵損失[25,16,36])來優化樣本與權重向量之間的相似性。后者利用度量損失函數(例如，triplet損失[9,22])來優化樣本之間的相似性。在我們的理解中，這兩種學習方式並沒有本質上的區別。它們都要求類間相似度sn最小，類內相似度sp最大。
從這一觀點出發，我們發現許多流行的損失函數(如triplet損失[9,22]、softmax交叉熵損失及其變體[25,16,36,29,32,2])共享類似的優化模式。它們都將sn和sp嵌入到相似對中，並盡力減少(sn−sp)。在(sn−sp)中，增加sp等價於減少sn。我們認為這種對稱優化方式容易產生以下兩個問題。
- Lack of flexibility for optimization. sn和sp上的懲罰強度是相等的。給定特定的損失函數，sn和sp的梯度具有相同的振幅(詳見第2節)。在一些極端情況下，例如，sp很小，sn已經接近0(如圖1 (a)中的“A”)，它還是繼續用較大的梯度來懲罰sn（因為sn已經接近於0了，所以此時的目的應該是增大sp，sn應該梯度較小，sp才應該梯度大）。這是低效和不合理的。
- Ambiguous convergence status. 優化(sn - sp)通常導致決策邊界為sp - sn = m (m為邊際)。該判定邊界允許收斂的模糊(如圖1 (a)中的“T”和“ T' ”)。例如，T有{sn, sp} = {0.4, 0.7}， T' 有{s'n, s'p} ={0.2, 0.5}。它們都得到了邊際m = 0.3，都被認為是一個好的收斂效果。但是，將它們相互比較，我們發現sn和s'p之間的差距只有0.1。這就導致了A、B、C在收斂時就可以朝着綠色邊際線上多個點的方向去收斂，方向不夠明確。因此，模糊收斂對特征空間的可分離性進行了妥協。
有了這些見解，我們就有了一種直覺，即不同相似度的分數應有不同的懲罰力度。如果相似度分數與最佳值相差甚遠，就應該受到嚴厲懲罰。否則，如果一個相似度評分已經接近最優，則應該進行溫和的優化。為此，我們首先將(sn−sp)推廣為(αn sn−αp sp)，其中αn和αp是獨立加權因子，允許sn和sp以不同的速度學習。然后將αn和αp分別作為sn和sp的線性函數，使學習速度適應優化狀態:相似度分數偏離最優值越遠（即sp遠離1，或sn遠離0），權重因子越大。這樣的優化導致決策邊界αn sn−αp sp = m，在(sn, sp)空間產生一個圓形狀，因此我們將所提出的損失函數命名為Circle loss。
簡單來說，Circle loss本質上是從以下三個方面重塑了深度特征學習的特征:
First, a unified loss function. 從統一相似對優化的角度出發，我們提出了兩種基本學習范式的統一損失函數:class-level標簽學習和pair-wise標簽學習。
Second, flexible optimization. 在訓練過程中，反向傳播到sn (sp)的梯度將被αn (αp)放大。那些未優化的相似度分數將有更大的權重因子，從而得到更大的梯度。如圖1 (b)所示，A、B、C的優化是不同的。
Third, definite convergence status. 在圓決策邊界上，Circle loss支持特定的收斂狀態(如圖1 (b)中的“T”)，見3.3節。相應地設定了明確的優化目標，有利於分離。（即可見圖(b)中的T和T'點，T有{sn, sp} = {0.4, 0.7}， T' 有{s'n, s'p} ={0.15, 0.55},與決策邊界上的其他點相比，T的sp與sn之間的間隙最小。也就是說，T'在sp和sn之間的間隙更大，本身就更難以維持。因此A、B、C都會朝着T的方向去收斂，十分明確）
本文的主要貢獻總結如下:
- 我們提出了Circle loss，一個用於深度特征學習的簡單損失函數。通過在監督下對每個相似度分數進行重新加權，Circle loss有利於深度特征學習，優化靈活，收斂目標明確。
- 我們提出了與class-level標簽和pair-wise標簽兼容的Circle loss。經過輕微的修改，Circle loss可退化為triplet損失或softmax交叉熵損失。
- 我們在各種深度特征學習任務中進行了廣泛的實驗，如人臉識別、行人再識別、汽車圖像檢索等。在所有這些任務中，我們展示了Circle loss的優越性，性能與目前的技術水平相當。
2. A Unified Perspective
深度特征學習的目標是最大化類內相似度sp，最小化類間相似度sn。例如，在余弦相似度度量下，我們期望sp→1和sn→0。
為此，使用class-level標簽學習和使用pair-wise標簽學習是兩個基本的范式。它們通常是分開考慮的，從損失函數的角度來看，它們彼此之間有很大的不同。給定class-level標簽，首先是學會使用一個分類損失將每個訓練樣本分類到其目標類別，如L2-Softmax[21]、Large-margin Softmax[15]、Angular Softmax[16]、NormFace[30]、AM-Softmax[29]、CosFace[32]、ArcFace[2]。這些方法也被稱為基於代理的學習，因為它們優化了樣本和代表每個類的一組代理之間的相似性。相反給定pair-wise標簽,直接學習特征空間中的pair-wise相似度(即樣本之間的相似性),因此不需要代理,例如,constrastive loss[5,1], triplet loss[9、22], Lifted-Structure loss[19], N-pair loss[24], Histogram loss[27], Angular loss[33], Margin based loss[38], Multi-Similarity loss[34]等等。
本文從統一的角度看待這兩種學習方法，既不偏好基於代理的相似度，也不偏好pair-wise相似度。給定特征空間中的單個樣本x，假設這里有與x相關的K個類內相似度分數，L個類間相似度分數。我們將該相似度分數分別表示為
和
為了最小化每個
和最大化每個
，我們提出了統一的損失函數：
其中
是一個擴展因子，m是用於相似度分離的邊際
等式(1)是直觀的。其通過迭代每個相似對去減少( - )。我們注意到，通過簡單的調整，可以將其降級為triplet loss或分類損失
Given class-level labels, 我們計算x和權重向量
（N是訓練類的數量）的相似度分數。具體說來，我們通過
得到(N-1)個類間相似度分數。除此之外，我們還使用
得到一個類內相似度分數（省略上標）。有了這些先決條件后，等式(1)降級為了AM-Softmax[29,32]，其是Softmax損失（即softmax交叉熵損失）的一個重要變體：
而且，當m=0時，等式(2)則進一步降級為Normface[30]。通過使用內積和設置=1來替換cosine相似度，其最終將降級為Softmax損失
Given pair-wise labels, 我們計算mini-batch中x和其他特征之間的相似度分數。具體來說，就是計算
。相應地，
。等式(1)將降級為使用hard mining[22,8]的triplet損失：
（這個式子就是通過求極限，使用洛必達法則上下求導得到最終結果為
，如果是歐式距離，優化方向就是Maximize，如果是余弦相似度，優化方向就是Minimize)
具體來說，我們注意到在等式(3)中，被Lifted-Structure loss[19], N-pair loss[24], Multi-Similarity loss[34]等實現的
操作實現了樣本中的"soft"hard mining。逐漸增大會加大mining的強度，當
時，則實現的是[22,8]中標准的hard mining。
Gradient analysis. 等式(2)和等式(3)說明了triplet損失，Softmax損失及其幾種變體可以解釋為等式(1)的具體情況。換句話說，它們都優化(sn−sp)。在只有單一sp和sn的toy場景下，我們將圖2 (a)和(b)中的triplet loss和AM-Softmax loss的梯度可視化，從中我們得到以下觀察結果:
- 首先，在損失達到決策邊界(梯度消失)之前，sp和sn的梯度是相同的。狀態A有{sn, sp} ={0.8, 0.8}，表示類內是緊湊的。但是A的sp仍然有較大的梯度，導致優化時缺乏靈活性。
- 其次，梯度在收斂前保持(大致)不變，收斂后突然下降。狀態B更接近於決策邊界，並且比A優化得更好。然而，損失函數(包括triplet損失和AM-Softmax損失)對A和B執行了近似相等的懲罰。這是另一個缺乏靈活性的證據。
- 最后，決策邊界（白色虛線）
與
平行。邊界上任意兩點（如圖1中的T和T'）有着相等的m大小的相似度gap，因此，實現起來也同樣困難。從另一方面說來，為了收斂，損失函數最小化
時，對T和T'並沒有任何偏好，傾向於模糊收斂。該問題的實驗證明可見第4.6節。
這些問題源於最小化(sn−sp)的優化方式，減少sn等價於增加sp。在接下來的第3節中，我們將把這種優化方式轉化為更一般的優化方式，以提高靈活性。
3. A New Loss Function
3.1. Self-paced Weighting
我們考慮通過允許每個相似度分數以自己的速度去學習來增強優化靈活性，速度取決於其當前的優化狀態。我們首先忽略等式(1)中的邊際項m，將統一的損失函數轉化為所提出的Circle loss:
其中
和
是非負的加權因子
等式(4)源自等式(1)，將
轉換成
。在訓練中，當后向傳播到
時，的梯度將乘以
。當相似度分數偏離最優值時（即
的
和
的
），其應該得到一個大的加權因子以使用大的梯度得到有效的更新。總之，我們以self-paced的方式定義和：
其中
是"截止為0"操作(即小於0的數則設置為0)，以保證和是非負的
Discussions. 在監督下對余弦相似度進行再縮放是現代分類損失的一種常見做法[21,30,29,32,39,40]。通常，所有相似分數共享一個相等的縮放因子γ。當我們把分類損失函數中的softmax值視為樣本屬於某個類別的概率時，等量再縮放是很自然的。相反，Circle loss在再縮放之前，將每個相似度分數與一個獨立的加權因子相乘。因此，它擺脫了等量再縮放的限制，允許更靈活的優化。除了更好的優化的好處之外，這種重新加權(或再縮放)策略的另一個重要意義涉及到潛在的解釋。Circle loss放棄了用大概率將樣本分類到目標類別的解釋。相反，它持有相似對優化的觀點，其可兼容兩種學習范式。
3.2. Within-class and Between-class Margins
在損失函數優化
中添加一個邊際m來增強優化效果 [15, 16, 29, 32]。由於sn和−sp處於對稱位置，所以sn的正邊際相當於sp的負邊際，因此只需要一個邊際m。在Circle loss中，sn和sp處於不對稱位置。自然，sn和sp需要各自的邊際值，公式為:
其中
和
分別為類間和類內邊際。
基本上，等式(6)的Circle loss期待
和
。我們通過推導決策邊界來進一步分析和的設置。為了簡化，我們考慮二分類的情況，其決策邊界為
。與等式(5)結合，決策邊界為：
其中
等式(7)表明決策邊界為圓弧，如圖1(b)所示。圓的中心為
，半徑為
Circle loss中有5個超參數，即等式(5)中的和，以及等式(6)中的、和。我們通過設置
和
來減少超參數的數量。最后，等式(7)的決策邊界為：
根據等式(8)中定義的決策邊界，我們對Circle loss有了另一種直觀的解釋。其目的是優化sp→1和sn→0。參數m控制着決策邊界的半徑，可以看作是一個松弛因子。另一種說法則是Circle loss期望
。
因此，現在僅有兩個超參數，即縮放因子和松弛邊際m。我們將在第4.5節分析m和的影響。
3.3. The Advantages of Circle Loss
Circle loss關於和的梯度可以如下推導得到：
其中
在二分類的toy場景下(或者只有一個sn和sp時)，我們在圖2 (c)中可視化在不同m設置下的梯度，從中我們得到以下三個觀察結果:
Balanced optimization on sn and sp. 我們回想一下，損失函數最小化(sn−sp)在sp和sn上總是有相同的梯度，並且是不靈活的。而Circle loss則呈現出動態的懲罰強度。在指定的相似對{sn, sp}中，如果sp比sn優化得更好(如圖2 (c)中A ={0.8, 0.8})，則Circle loss會給sn分配更大的梯度(反之亦然)，從而以更高的優先級減小sn。均衡優化的實驗證據將在4.6節中給出。
Gradually-attenuated gradients. 在訓練開始時，相似度分數偏離最優值，並獲得較大的梯度(如圖2 (c)中的“A”)。隨着訓練逐漸趨於收斂，相似度分數上的梯度也相應衰減(如圖2 (c)中的“B”)，進行比較溫和的優化。4.5節的實驗結果表明，設置為任何值，其學習效果都是魯棒的(在等式(6)中)，我們將其歸因於自動衰減的梯度。
A (more) definite convergence target. Circle loss有一個圓的決策邊界，在收斂時其更傾向於T而不是T'(圖1)。這是因為與決策邊界上的其他點相比，T的sp與sn之間的間隙最小。也就是說，T'在sp和sn之間的間隙更大，本身就更難以維持。而最小化(sn−sp)的損失具有均勻的決策邊界，即決策邊界上的每個點都具有相同的到達難度。通過實驗，我們觀察到Circle loss導致收斂后的相似度分布更加集中，具體見4.6節和圖5。
4. Experiments
我們綜合評估了兩種基本的學習方法，即使用class-level標簽學習和使用pair-wise標簽學習下的Circle loss的有效性。對於前一種方法，我們在人臉識別(第4.2節)和行人再識別(第4.3節)任務上評估了我們的方法。對於后一種方法，我們使用細粒度圖像檢索數據集(第4.4節)，這些數據集相對較小，鼓勵使用pair-wise標簽進行學習。我們證明了在這兩種設置下Circle loss是可行的。第4.5節分析了兩個超參數的影響，即等式(6)中的縮放因子和等式(8)中的松弛因子m。我們證明了在合理的設置下，Circle loss是魯棒的。最后，第4.6節實驗驗證了Circle loss的特性。
4.1. Settings
Face recognition. 我們使用流行的數據集MS-Celeb-1M[4]進行訓練。原生的MS-Celeb-1M數據是有噪聲的，並且具有長尾數據分布。我們清理臟樣本，並排除少數tail身份(即每個身份≤3個圖像)。它會產生360萬張圖片和79.9K的身份信息。采用Megaface Challenge 1 (MF1)[12]、IJB-C[17]、LFW[10]、YTF[37]和CFP-FP[23]數據集進行評估，並采用官方評估協議。在[2]之后，我們還在MF1上改進了probe集和1M干擾物，以便進行更可靠的評估。對於數據預處理，我們將對齊后的人臉圖像大小調整為112 × 112，將RGB圖像的像素值線性歸一化為[−1,1][36,15,32]。我們只通過隨機水平翻轉來增強訓練樣本。我們選擇流行的殘差網絡[6]作為我們的backbone。所有的模型都經過182k次迭代訓練。學習率從0.1開始，分別在總迭代次數的50%、70%和90%處降低10倍。如果沒有指定，我們方法的默認超參數是 = 256，m = 0.25。對於所有的模型推理，我們提取512維特征嵌入，並使用余弦距離作為度量。
person re-identification. 人的再識別(re-ID)的目的是在不同的觀察中發現同一個人的出現。我們在兩個流行的數據集上評估我們的方法，即Market-1501[41]和MSMT17[35]。Market-1501包含1,501個身份，12,936張訓練圖像和19,732張gallery圖像，這些圖像是用6台相機拍攝的。MSMT17包含4101個身份，126411個圖像，這些圖像是用15個攝像頭進行捕捉的，並呈現長尾樣本分布。我們采用了兩種網絡結構，即以ResNet50為backbone的全局特征學習模型和名為MGN[31]的part特征模型。我們使用MGN是考慮到它的有競爭力的性能和相對簡潔的結構。最初的MGN在每個part特征分支上使用Sofmax損失進行訓練。為了簡單起見，我們的實現將所有部分特性連接到一個單一的特性向量。對於Circle loss，設 = 128, m = 0.25。
Fine-grained image retrieval. 我們使用三個數據集CUB-200-2011[28]、Cars196[14]和Stanford Online Products[19]對細粒度圖像檢索進行評價。CARS-196包含16,183個圖像，它們屬於196個汽車類別。前98個類用於訓練，后98個類用於測試。CUB-200-2010有200種不同的鳥類。我們使用帶有5864張圖像的前100個類進行訓練，使用帶有5924張圖像的最后100個類進行測試。SOP是一個大型數據集，包含120,053張圖像，屬於22,634個在線產品類。訓練集包含11,318類，包括59,551張圖像，其余11,316類，包括60,499張圖像用於測試。實驗設置遵循[19]。我們使用BN-Inception[11]作為backbone來學習512維嵌入。我們采用P-K采樣策略[8]構造P = 16, K = 5的mini-batch。對於Circle loss，設 = 80, m = 0.4。
4.2. Face Recognition
在人臉識別任務中，我們比較了幾種常用的分類損失函數，即vanilla Softmax、NormFace[30]、AM-Softmax[29](或CosFace[32])、ArcFace[2]。根據原始文獻[29,2]，我們AM-Softmax設置為= 64, m = 0.35，ArcFace設置為 = 64, m = 0.5。
我們在表1中報告了Megaface Challenge 1數據集(MFC1)的識別和驗證結果。Circle loss的表現略優於不同backbone下的對照物。例如，以ResNet34為backbone，Circle loss在rank-1 accuracy上超出最具競爭力的對照物(ArcFace)0.13%。以ResNet100為backbone，雖然ArcFace達到了98.36%的rank-1 accuracy，但Circle loss仍然比它高出0.14%。同樣的觀察結果也適用於驗證度量。
表2總結了LFW[10]、YTF[37]、CFP-FP[23]人臉驗證結果。我們注意到，這些數據集的性能已經接近飽和。其中ArcFace在三個數據集上分別比AM-Softmax高出0.05%、0.03%、0.07%。Circle loss效果哦仍然是最好的，分別超過ArcFace 0.05%， 0.06%和0.18%。
在表3的IJB-C 1:1驗證任務中，我們進一步將Circle loss與AM-Softmax和ArcFace進行了比較。在ResNet34和ResNet100 backbone下，Circle loss都表現出相當的優越性。例如，使用ResNet34，在“TAR@FAR=1e-4”和“TAR@FAR=1e-5”上的Circle loss顯著高過ArcFace 1.16%和2.55%。
4.3. person Re-identification
我們在表4中評估了re-ID任務上的Circle loss。MGN[31]是最先進的方法之一，用於學習多粒度的part-level特征。最初，它同時使用Softmax損失和triplet損失，以實現joint優化。為了簡化，我們的“MGN (ResNet50)+ AM-Softmax”和“MGN (ResNet50)+ Circle loss”的實現只使用了一個單一的損失函數。
我們從表4中得出三個結論。首先，我們發現，Circle loss可以得到能與最先進的方法競爭的再識別准確性。我們注意到在MSMT17[35]上“JDGL”略高於“MGN +Circle loss”。JDGL[42]使用生成模型來擴充訓練數據，並顯著改善長尾數據集的re-ID。其次，將Circle loss與AM-Softmax進行比較，觀察Circle loss的優越性，這與人臉識別任務的實驗結果一致。第三，對比“ResNet50 + Circle loss”和“MGN + Circle loss”，我們發現怕惡 level特征對Circle loss有漸進的改善。這意味着Circle loss與專為re-ID設計的part模型是兼容的。
4.4. Fine-grained Image Retrieval
我們在三個細粒度圖像檢索數據集CUB-200-2011、Cars196和Standford Online Products上評估Circle loss與pair-wise標記數據的兼容性。在這些數據集上，大多數方法[19,18,3,20,13,34]采用鼓勵設置pair-wise標簽的學習。我們在表5中比較了這些最先進的方法的Circle loss。我們觀察到，在所有三個數據集上，Circle loss獲得了具有競爭力的性能。在這些方法中，LiftedStruct[19]和Multi-Simi[34]是專門設計的用於pair-wise標簽學習的方法，其帶有復雜的hard mining策略。HDC[18]、ABIER[20]、ABE[13]受益於模型集成。相比之下，提出的Circle loss能達到與當前最先進的方法同級別的性能。
4.5. Impact of the Hyper-parameters
我們分析了兩個超參數，即等式(6)中的縮放因子和等式(8)中的松弛因子m對人臉識別任務的影響。
縮放因子γ決定了各相似度分數的最大尺度。縮放因子的概念在Softmax損失的許多變體中是至關重要的。我們對其對Circle loss的影響進行了實驗評估，並與其他幾種涉及縮放因子的損失函數進行了比較。我們將AM-Softmax和Circle loss的從32變到1024。對於ArcFace，我們只將設置為32、64和128，因為在我們的實現中越大，它就變得不穩定。結果如圖3所示。與AM-Softmax和ArcFace相比，Circle loss對具有較高的魯棒性。梯度的自動衰減是Circle loss對魯棒的主要原因。隨着訓練過程中相似度分數趨近最優值，加權因子將逐漸減小。因此，梯度會自動衰減，以此得到適度的優化。
松弛因子m決定了圓形決策邊界的半徑。我們將m設為−0.2 ~ 0.3(區間為0.05)，結果如圖3 (b)所示。可以看到，在−0.05 ~ 0.25的所有設置下，Circle loss都超過了Arcface和AM-Softmax的最佳性能，表現出相當程度的魯棒性。
4.6. Investigation of the Characteristics
Analysis of the optimization process. 為了直觀的了解學習過程，我們在圖4中展示了sn和sp在整個訓練過程中的變化，從中我們得到了兩個觀察結果:
首先，在初始化時，所有的sn和sp分數都很小。這是因為隨機化的特征在高維特征空間中容易彼此相距很遠[40,7]。相應地，sp得到的權重(相對於sn)顯著增大，對sp的優化在訓練中占主導地位，相似值快速增加，如圖4所示。這一現象表明，Circle loss保持了一種靈活、均衡的優化。
其次，在訓練結束時，與AM-Softmax相比，Circle loss在訓練集上取得了更好的類內緊湊和類間差異。因為Circle loss在測試集上獲得了更高的性能，我們認為這意味着更好的優化。
Analysis of the convergence. 圖5中我們分析了Circle loss的收斂狀態。我們研究了兩個問題:由sn和sp組成的相似對在訓練過程中如何跨越決策邊界，以及它們收斂后如何在(sn, sp)空間中分布。結果如圖5所示。在圖5 (a)中，AM-Softmax損失采用m = 0.35的最優設置。在圖5 (b)中，Circle loss采用折中設置m = 0.325。(a)和(b)的決策邊界彼此相切，可以進行直觀的比較。在圖5 (c)中，Circle loss采用m = 0.25的最佳設置。將圖5 (b)和(c)與圖5 (a)進行比較，可以發現Circle loss在決策邊界上的通道相對狹窄，收斂分布更加集中(特別是m = 0.25時)。這表明，與AM-Softmax損失相比，Circle loss有利於所有相似對的收斂更加一致。這一現象證實了Circle loss具有更明確的收斂目標，從而促進了特征空間的可分性。
5. Conclusion
本文對深度特征學習的優化過程提供了兩個見解。首先，大部分的損失函數，包括triplet損失和流行的分類損失，通過將類間和類內的相似度嵌入到相似對中進行優化。其次，在一個被監督的相似對內，每個相似度分數應根據其與最優相似度的距離不同而得到不同的懲罰強度。根據這些見解得到了Circle loss，從而允許相似性分數以不同的速度學習。Circle loss有利於深度特征學習，優化靈活性高，收斂目標更明確。對於兩種基本的學習方法，即使用class-level標簽學習和使用pair-wise標簽學習，它都有一個統一的公式。在各種深度特征學習任務中，如人臉識別、行人再識別和細粒度圖像檢索，Circle loss的性能達到了與目前的最先進的技術相當的水平。