分類損失
二分類損失
二分類交叉熵損失(對數似然損失，邏輯回歸損失)
\[L(Y,f(x))=-\frac{1}{n}\sum [y\ln f(x)+(1-y)\ln (1-f(x))] \]
多分類損失
多分類交叉熵損失
\[L(Y,f(x))=-\frac{1}{n}\sum y_i ln f(x) \]
常於softmax層一起使用
回歸損失
mae(L1 loss)與 mse(L2 loss)
mae
\[L(Y,f(x))=|Y-f(x)| \]
mse
\[L(Y,f(x))=\sum (Y-f(x))^2 \]
mae loss 與mse loss的區別與選擇
簡而言之，在模型非常優秀的前提下，mae和mse並沒有太大的差別，因為誤差都很小。但是，當模型性能並不是很好的時候，mse因為多了平方，會導致loss變得很大，所以mse相對於mae對異常值會比較敏感，傾向於給異常值更多的loss，同時，它的特點相比於深度神經網絡這種很小的梯度變化而言，loss的變大更有利於梯度的更新。同時，如果訓練數據被異常點所污染，那么MAE損失就更好用。