差異特征學習指如何獲取差異最小的類內和差異最大的類間特征，這里的差異特征學習可應用的場景包含並不僅限於人臉識別，行人重識別和細粒度識別等。
由於這方面涉及太廣和自身能力有限，只結合自己使用經驗對關鍵差異的闡述，且略去基本算法描述。
-
softmaxloss
softmaxloss作為最基本的identity loss能解決絕大部分場景分類問題，提取的特征也有較好的表達，只是它的特征分布呈射線簇，在分類中使用還好，在檢索中就涉及樣本間距離（相似度）的計算，射線簇無論是歐式距離還是與余弦距離均有弊端。可以參考此篇（https://zhuanlan.zhihu.com/p/34404607），總結的很好。
-
雙損失（identity loss + verification loss）
verification loss能度量樣本間的關系，結合identity loss，相當於一種多任務，獲取差異特征表達。
雙損失迅速占據了主流，且性能很好。典型的代表是softmaxloss+contrastiveloss和softmaxloss+tripletloss。
contrastiveloss的對象是二元組，同類拉近，異類大於margin。但實驗顯示，同類拉近這點極易導致過擬合。
tripletloss的對象是三元組，異類大於同類margin的距離，triplet是一個很好的約束損失，但是難點在於三元組的組合挖掘，HardTri是一個改進方向。
還有center loss，想法很好，但多了一個類心收斂過程（訓練很慢），且當類別較大，內存維護這樣所以類心，消耗較大。
-
基於角度的softmax改進
一系列論文包括，L-softmax->A-softmax->Feature Normalization->AM-Softmax
L-softmax首次提出基於角度的softmax優化，關注特征向量和對應權值向量的角度縮小，從而獲得差異特征。
A-softmax在L-softmax基礎上歸一化了權值，讓訓練更集中在優化特征和向量角度上。L和A均采用退火算法訓練。
Feature Normalization提出了歸一化特征（讓特征分布在圓上不再呈射箭簇），且添加尺度因子（抵消歸一化帶來的特征空間壓縮）。
AM-Softmax，在前面的基礎上，將乘性margin優化為加性margin，使得訓練更易收斂。