From：https://jovianlin.io/cat-crossentropy-vs-sparse-cat-crossentropy/ categorical_crossentropy 和 s ...

参考博文：http://blog.csdn.net/u013078356/article/details/51154847 在使用caffe训练数据，迭代次数非常大的时候，难免会想图形化展示实验结果。 ...

这里不列举两个loss所对应的数学表达式，网络资料很多，可自行google。在此只简单说明一下具体使用区别。 1. SigmoidCrossEntropyLoss结合sigmoid函数，多是应用于二分类或多目标分类。 * 对于二分类，预测输入图像为1的概率，一张图像 ...

本文介绍Softmax运算、Softmax损失函数及其反向传播梯度计算, 内容上承接前两篇博文 损失函数 & 手推反向传播公式。 Softmax 梯度 设有K类, 那么期望标签y形如\([ ...

...

本文摘自：学习率和batchsize如何影响模型的性能？ 初始的学习率一般有一个最优值，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性， ...

L-Sofmax paper url: https://arxiv.org/pdf/1612.02295 year:2017 Introduction 交叉熵损失与softmax一起使用可以说是 ...

1.调试程序发现计算loss的时候出现如题所示错误，导致后续程序报CUDA的错 nn.CrossEntropyLoss()，我设置ignore_index为0，mask设为0,1,2，做2分类，就会这样 2.将ignore_index改为-1，计算loss的时候把mask=mask-1 ...

逻辑回归从线性回归引申而来，对回归的结果进行 logistic 函数运算，将范围限制在[0,1]区间，并更改损失函数为二值交叉熵损失，使其可用于2分类问题(通过得到的概率值与阈值比较进行分类)。 ...

摘自：【AI不惑境】学习率和batchsize如何影响模型的性能？ - 知乎 (zhihu.com) ...