深度学习之损失函数小结 在深度学习中，损失函数扮演着很重要的角色。通过最小化损失函数，使得模型达到收敛状态，减少模型预测值的误差。因此，不同的损失函数，对模型的影响是重大的。下面总结一下常用的损失函数： 图像分类：交叉熵 目标检测：Focal loss L L 损失函数 IOU Loss GIOU DIOU CIOU IOU Loss：考虑检测框和目标框重叠面积。 GIOU Loss：在IOU的 ...
2020-02-23 21:37 0 749 推荐指数：
总结对比下\(L_1\) 损失函数，\(L_2\) 损失函数以及\(\text{Smooth} L_1\) 损失函数的优缺点。 均方误差MSE (\(L_2\) Loss) 均方误差（Mean Square Error,MSE）是模型预测值\(f(x)\) 与真实样本值\(y\) 之间差值平方 ...
当预测值与目标值相差很大时，L2 Loss的梯度为(x-t)，容易产生梯度爆炸，L1 Loss的梯度为常数，通过使用Smooth L1 Loss，在预测值与目标值相差较大时，由L2 Loss转为L1 Loss可以防止梯度爆炸。 L2 loss的导数（梯度）中包含预测值与目标值的差值 ...
引自：https://zhuanlan.zhihu.com/p/83131026 1、L1 loss 在零点不平滑，用的较少 ，、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为02、Smooth L1 Loss 修改零点不平滑问题 ， L1-smooth比L2 ...
原文链接 一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点 ...
作为损失函数 L1范数损失函数 L1范数损失函数，也被称之为平均绝对值误差（MAE）。总的来说，它把目标值$Y_i$与估计值$f(x_i)$的绝对差值的总和最小化。 $$S=\frac{1}{N}\sum_{i=1}^n|Y_i-f(x_i)|$$ L2范数损失函数 ...
L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE） L2范数损失函数，也被称为最小平方误差（LSE） L2损失函数 L1损失函数 不是非常的鲁棒（robust） 鲁棒 ...
目标检测任务的损失函数由 Classificition Loss 和 Bounding Box Regeression Loss 两部分构成。本文介绍目标检测任务中近几年来Bounding Box Regression Loss Function的演进过程，其演进路线是Smooth L1 Loss ...
一、损失函： 模型的结构风险函数包括了 经验风险项 和 正则项，如下所示： 二、损失函数中的正则项 1.正则化的概念： 机器学习中都会看到损失函数之后会添加一个额外项，常用的额外项一般有2种，L1正则化和L2正则化。L1和L2可以看做是损失函数的惩罚项，所谓 ...
