以分类任务为例, 假设要将样本分为\(n\)个类别. 先考虑单个样本\((X, z)\). 将标题\(z\)转化为一个\(n\)维列向量\(y = (y_1, \dots y_k, \dots, ...

Cross-entropy Method（简称CEM）虽然是一种基于交叉熵的算法，但并不是我们熟知的监督学习中的交叉熵方法，与其说它是一种基于交叉熵的算法，倒不如说是一种基于蒙特卡洛和进化策略的算法。CEM算法不仅可以用作评估，也可以作为一种有效的优化算法，与进化算法（EAs）类似CEM是一种完全 ...

softmax求导 softmax层的输出为 其中，表示第L层第j个神经元的输入，表示第L层第j个神经元的输出，e表示自然常数。 现在求对的导数， 如果j=i， 　　1 如果ji， 　　2 cross-entropy求导 loss function ...

看了好几次这个loss了，每次都容易忘，其他的博客还总是不合我的心意，所以打算记一下： 先说二值loss吧，即二分类问题 一、二分类 直接解释： 假设有两个类0，1。我们需要做的就是 ...

目录 符号定义 对 softmax 求导 对 cross-entropy 求导 对 softmax 和 cross-entropy 一起求导 References 在论文中看到对 softmax 和 cross-entropy 的求导，一脸懵逼 ...

1.介绍： 当我们开发一个分类模型的时候，我们的目标是把输入映射到预测的概率上，当我们训练模型的时候就不停地调整参数使得我们预测出来的概率和真是的概率更加接近。 这篇文章我 ...

由上述推导可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的梯度消失现象。而使用cross-entropy时，w、b的梯度就不会出现上述的情况 ...

二次代价函数 $C = \frac{1} {2n} \sum_{x_1,...x_n} \|y(x)-a^L(x) \|^2$ 其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示 ...