Abstract
深度卷積神經網絡(CNNs)的發展使人臉識別得到了長遠的發展，其核心任務是提高特征識別的能力。為此，提出了幾個基於邊緣的softmax損失函數(如角邊緣、附加性邊緣和附加性角邊緣)來增加不同類別之間的特征邊緣。然而，盡管取得了很大的成就，但主要存在三個問題:1)明顯忽視了信息特征挖掘對區分學習的重要性;2)只從ground truth類鼓勵特征邊緣，沒有實現與其他非ground truth類的區別;3)將不同類別之間的特征邊界設置為相同且固定的值，可能不能很好地適應情況。針對這些問題，本文提出了一種新的loss函數，該函數自適應地強調錯誤分類的特征向量來指導鑒別特征學習。因此，我們可以解決上述所有問題，實現更有區別性的人臉特征。據我們所知，這是首次嘗試將特征邊緣和特征挖掘的優勢繼承為統一的loss function。在幾個基准上的實驗結果證明了對比最先的其他方法，我們的方法更具有效性。我們的代碼可以在http://www.cbsr.ia.ac.cn/users/xiaobowang/找到。
Introduction
前三段介紹了下之前的工作，省略
雖然上述方法取得了良好的效果，但它們主要存在三個缺點:1)明顯忽略了信息特征挖掘對於區分學習的重要性。要解決這個問題，可以求助於基於挖掘的softmax loss函數。Shrivastava等人(Shrivastava, Gupta, and Girshick. 2016)設計了hard挖掘策略(HM-Softmax)，通過使用高loss樣本構建mini-batch來提高特征識別。但是hard樣本的百分比是由經驗決定的，簡單例子完全被拋棄。相比之下，Lin等人(Lin, Goyal, and Girshick. 2017)設計了一種相對soft的挖掘策略，即Focal loss (F-Softmax)，將訓練重點放在hard樣本的稀疏集上。然而，hard樣本的指示是不清楚的。因此，這兩種基於挖掘的候選方法往往不能提高性能。如何從語義上選擇hard樣本仍然是一個有待解決的問題。2)僅從ground truth類的角度擴大了特征邊緣，這是局部的，沒有實現與其他非ground truth類的可區分性。3)最后但並非最不重要的是，他們通過對所有類使用相同且固定的邊界來擴大特征邊界，這在實踐中可能並不合適，也可能效果不太好。
為了克服上述缺點，本文嘗試設計一種新的損失函數，將難分類的例子明確表示為誤分類的向量，並自適應地強調其重要性，以指導鑒別特征學習。綜上所述，本文的主要貢獻可以總結如下:
- 我們提出了一種新的MV-Softmax loss算法，它明確指出了hard例子，並着重於它們來指導鑒別特征學習。因此，我們新的損失也吸收了其他非ground-truth類的可識別性，同時也為不同的類提供了自適應的邊界。
- 據我們所知，這是第一次嘗試有效地將特征邊界和特征挖掘技術的優點繼承到一個統一的loss函數中。並深入分析了新損失與當前基於邊界和基於挖掘的損失之間的關系和區別。
- 我們在LFW、CALFW、CPLFW、AgeDB、CFP、RFW、MegaFace、Trillion-Pair等常用基准上進行了大量實驗，驗證了新方法相對於基線softmax損失、基於挖掘的softmax損失、基於邊界的softmax損失及其天然融合損失的優越性。
Preliminary Knowledge（省略）
Softmax
Mining-based Softmax.
Margin-based Softmax
Problem Formulation
首先，讓我們回顧一下基於邊界的softmax損失的公式，即公式3：
(1)忽略了信息特征挖掘對於鑒別學習的重要性。2)它只利用了ground truth類y 的可判別性，即f(m，Θwy, x)，不考慮與其他非ground truth類k的潛在區別性，其中k不等於 y, k∈{1,2，…，K}\{y}。3)簡單地使用相同且固定的邊界m1, m2或m3來擴大不同類別之間的特征邊界。
Naive Mining-Margin Softmax Loss
為了解決第一個缺點，人們可能會求助於hard例子挖掘策略(Shrivastava, Gupta, and Girshick. 2016;(2017)。基於挖掘的損失函數主要用於困難樣本的訓練，而基於邊界的損失函數主要用於擴大不同類別之間的特征邊界。因此，這兩個分支是正交的，可以無縫地結合到彼此，導致生成一個簡單的動機，即直接集成它們:
公式Eq.(4)的確通過指標函數g(py)涉及了信息特征，但在實踐中對其改進有限。這背后的原因可能是，對HM-Softmax (Shrivastava, Gupta, and Girshick. 2016)來說，它明確地指出了困難的例子，但卻拋棄了容易的例子。對於F-Softmax (Lin, Goyal, and Girshick. 2017)，它使用了所有的例子，並通過一個調節因子對它們重置權重，但是難的例子對於訓練來說並不清楚，也沒有直觀的解釋。這促使我們設計更有效的方法來提高性能。
Mis-classified Vector Guided Softmax Loss
直覺上說，考慮良好分離的特征向量對學習問題的影響很小。這意味着錯誤分類的特征向量對於提高特征的可分辨性更為關鍵。為此，我們或者引入一種更優雅的方法，將訓練重點放在真正具有信息性的特性上(即錯誤分類向量)。具體來說，基於基於邊界的softmax損失函數，我們定義了一個二值指標Ik，自適應地表示當前階段某個樣本(特征)是否被特定分類器wk(其中k不等於其真正的類y)誤分類:
從Eq.(5)的定義可以看出，如果一個樣本(特征)分類錯誤，即， f(m, Θwy, x) - cos(Θwk, x) < 0(例如:，在圖1的左子圖中，特征x2屬於類1，但分類器w2對其進行了錯誤分類，即f(m，Θw1, x2) - cos(Θw2, x2) < 0)，該樣本x2將會被暫時強調，即標Ik = 1。這樣，困難的例子就被明確的指出來，我們主要針對這些困難的例子進行區分訓練。因此，我們將 Mis-classifie Vector guided Softmax (MV-Softmax)損失表示為:
其中h(t，Θwk,x, Ik)≥1是一個重置權重函數，以強調指明的錯誤分類向量。這里我們給出了兩個候選，一個是所有錯誤分類的類的固定權重:
另一個是可適應的公式：
其中t >= 0是一個預先設置的超參數。顯然，當t=0時，設計的MV-Softmax損失等式(6)變得和原來基於邊界的softmax損失等式(3)完全一樣了
Comparision to Mining-based Softmax Losses. 為了說明我們的MV-softmax loss相對於傳統基於挖掘的loss函數(例如HM-Softmax (Shrivastava, Gupta, and Girshick. 2016)和F-Softmax (Lin, Goyal, and Girshick. 2017)的優勢，圖1給出了一個toy示例：
假設我們有兩個樣本(特征)x1和x2，它們都來自類1，其中x1是分類良好的，而x2不是。HM-Softmax經驗地表示了困難樣本，拋棄了簡單樣本x1，使用困難樣本x2進行訓練。F-Softmax沒有明確表示困難樣本，但它重新加權所有的樣本，使較困難的一個x2有相對較大的損失值。這兩種策略都是直接從損失的角度出發的，難例的選擇沒有語義指導。我們的MV-Softmax損失Eq.(6)是從一個不同的方式。首先，根據決策邊界對難例(誤分類向量)進行語義標注。以往方法的困難定義為特征(樣本)和特征(樣本)之間的全局關系。而我們的困難是特征和分類器之間的局部關系，這更符合區分性特征學習。然后，我們從概率的角度來強調這些困難的例子。具體來說，由於交叉熵損失 -log(p)是一個單調遞減函數，降低錯誤分類向量x2的概率p(原因是h(t，Θwk,x,I k)≥1，見方程式(7)和(8))，即增加整個等式6的交叉熵損失值L5，這將增加其訓練的重要性。綜上所述，我們可以斷言，我們的錯誤分類向量引導挖掘策略，在區分特征學習方面比以往的策略更優越。
Comparision to Margin-based Softmax Losses. 相同地，假設我們有來自類1的樣本x2，且其沒有正確分類（如圖1左圖的紅點）。原始的softmax loss旨在讓
。為了讓該目標函數更嚴格，基於邊界的損失函數介紹了一個來自ground truth類（即Θ1）角度的邊界函數
其中，f(m, Θ1)對於不同的類具有相同且固定的邊界，忽略了與其他非ground truth類(如:Θ2和Θ3)的潛在區別性。為了解決這些問題，我們的MV-Softmax loss試圖從其他非ground truth類的角度進一步擴大特征。具體來說，我們為錯誤分類的特征x2引入了一個邊界函數h∗(t，Θ2):
對於Θ3，因為x2被其正確分類（即判定x2不是類3），所以我們不需要對其添加額外的增強去進一步增大其的邊界。而且，我們的MV-Softmax loss也為不同的類設置了不同的可適應邊界。以 MV-AM-Softmax（即
）為例，對於錯誤分類的類，其邊界為
。然而對於正確分類的類，其邊界為m。基於這些特性，我們的MV-Softmax loss解決了第二和第三個缺點
根據上面的討論，我們總結出我們的新損失繼承了特征邊界和特征挖掘的優點到統一的損失函數中，因此可以期待其在人臉識別中獲得更具區分性的特征
Optimization
在這部分，我們展示了我們的MV-Softmax loss（等式6）是可訓練的，並能被經典的隨機梯度下降法（SGD）優化。以前基於邊界的softmax損失和這個提出的MV-Softmax損失之間的差別主要取決於最后的全連接層：
對於前向傳播，當k=y時，其與原始的基於邊界的softmax 損失相同（即
）。當k不等於y時，有兩種情況，如果特征向量被特定分類器正確分類，則它也是與原始softmax相同（即
）。否則，它將會重新使用一個固定權重
或一個自適應權重
重新計算。我們方法的整個方案如下面的算法1：
Experiments
省略
Conclusion
本文提出了一個簡單但非常有效的損失函數，即誤分類矢量引導的softmax損失(即MV-Softmax)，用於人臉識別任務。具體來說，MV-Softmax loss明確地專注於對錯誤分類的特征向量進行優化。從而將特征邊界和特征挖掘的動機在語義上繼承為一個統一的損失函數。因此，它比基線Softmax損失、當前基於挖掘的損失、基於邊界的損失和它們的簡單融合的損失表現出更高的性能。在幾個人臉識別基准上的廣泛實驗已經驗證了我們的新方法在最先進的替代方案的有效性。