损失函数与代价函数：目前理解是损失函数就是代价函数，且在损失函数的基础上进行梯度下降，找到最优解。 损失函数：根据目标模型的不同，会分为回归损失函数，逻辑回归分类损失。 MSE损失函数：度量特征图之间的距离，目标是提取特征图推理一致性。平均平方误差 mean square error 。MAE损失函数与之会有差异，mean absolute error，思想是这一类。 交叉熵损失函数：交叉熵由真实 ...
2020-01-01 21:08 0 986 推荐指数：
出发点 对于一个样本，有输入和输出结果，我们的目的是优化训练我们的模型，使得对于样本输入，模型的预测输出尽可能的接近真实输出结果。现在需要一个损失函数来评估预测输出与真实结果的差距。 均方误差 回归问题 样本有若干维，每一维都有一个真实值。我们要将样本的数据通过我们的模型预测也得到同样 ...
1、说在前面 最近在学习object detection的论文，又遇到交叉熵、高斯混合模型等之类的知识，发现自己没有搞明白这些概念，也从来没有认真总结归纳过，所以觉得自己应该沉下心，对以前的知识做一个回顾与总结，特此先简单倒腾了一下博客，使之美观一些，再进行总结。本篇博客先是对交叉熵损失函数进行 ...
[ ]+的意思是大于0取原值，小于0则取0。这叫做合页损失函数，训练方法叫做margin-based ranking criterion。此loss函数来自SVM，目的是将正和负尽可能分开。一般margin=1。 其中d是L1或L2的距离，表示h+r向量与t向量之间的距离 ...
cross_entropy-----交叉熵是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。 在介绍softmax_cross_entropy，binary_cross_entropy、sigmoid_cross_entropy之前，先来回顾一下信息量、熵、交叉熵 ...
softmax是logisitic regression在多酚类问题上的推广，\(W=[w_1,w_2,...,w_c]\)为各个类的权重因子，\(b\)为各类的门槛值。不要想象成超平面，否则很难理解，如果理解成每个类的打分函数，则会直观许多。预测时我们把样本分配到得分最高的类 ...
YOLO V1损失函数理解： （结构图） 首先是理论部分，YOLO网络的实现这里就不赘述，这里主要解析YOLO损失函数这一 ...
之所以会有这个问题，是因为在学习 logistic regression 时，《统计机器学习》一书说它的负对数似然函数是凸函数，而 logistic regression 的负对数似然函数（negative log likelihood）和 交叉熵函数（cross entropy）具有一样的形式 ...
、cross_entropy loss(交叉熵损失)： 1：hinge loss(合页损失) 又叫 ...
