損失函數匯總（全網最全）
一 損失函數簡介
二 常見的損失函數
分類和回歸任務中的損失函數為什么不同？
對於分類任務，為什么不采用平方損失/L1損失？
對於分類任務，為什么不采用平方損失/L1損失？
理論層面：
① 平方數損失函數假設最終結果都服從高斯分布，而高斯分布實際上是一個連續變量，並不是一個離散變量。
② 神經網絡反向傳播過程中涉及到的損失函數求導問題。
二 常見的損失函數
① 二/多分類交叉熵損失
② focal loss
③ Contrastive Loss
④ Triplet Loss
⑤ Center Loss
⑥ KL散度
⑦ 增強邊緣余弦損失函數
⑧ circle loss
二/多分類交叉熵損失
focal loss
出自2017年何凱明大佬的論文：Focal Loss for Dense Object Detection ICCV2017
Contrastive Loss
出自Yann LeCun的論文：Dimensionality Reduction by Learning an Invariant Mapping
Triplet Loss
出自論文：FaceNet: A Unified Embedding for Face Recognition and Clustering
Center Loss
出自論文：A Discriminative Feature Learning Approach for Deep Face Recognition(ECCV)
KL散度
增強邊緣余弦損失函數
circle loss
