分类损失
二分类损失
二分类交叉熵损失(对数似然损失，逻辑回归损失)
\[L(Y,f(x))=-\frac{1}{n}\sum [y\ln f(x)+(1-y)\ln (1-f(x))] \]
多分类损失
多分类交叉熵损失
\[L(Y,f(x))=-\frac{1}{n}\sum y_i ln f(x) \]
常于softmax层一起使用
回归损失
mae(L1 loss)与 mse(L2 loss)
mae
\[L(Y,f(x))=|Y-f(x)| \]
mse
\[L(Y,f(x))=\sum (Y-f(x))^2 \]
mae loss 与mse loss的区别与选择
简而言之，在模型非常优秀的前提下，mae和mse并没有太大的差别，因为误差都很小。但是，当模型性能并不是很好的时候，mse因为多了平方，会导致loss变得很大，所以mse相对于mae对异常值会比较敏感，倾向于给异常值更多的loss，同时，它的特点相比于深度神经网络这种很小的梯度变化而言，loss的变大更有利于梯度的更新。同时，如果训练数据被异常点所污染，那么MAE损失就更好用。