以分類任務為例, 假設要將樣本分為\(n\)個類別. 先考慮單個樣本\((X, z)\). 將標題\(z\)轉化為一個\(n\)維列向量\(y = (y_1, \dots y_k, \dots, ...

Cross-entropy Method（簡稱CEM）雖然是一種基於交叉熵的算法，但並不是我們熟知的監督學習中的交叉熵方法，與其說它是一種基於交叉熵的算法，倒不如說是一種基於蒙特卡洛和進化策略的算法。CEM算法不僅可以用作評估，也可以作為一種有效的優化算法，與進化算法（EAs）類似CEM是一種完全 ...

softmax求導 softmax層的輸出為 其中，表示第L層第j個神經元的輸入，表示第L層第j個神經元的輸出，e表示自然常數。 現在求對的導數， 如果j=i， 　　1 如果ji， 　　2 cross-entropy求導 loss function ...

看了好幾次這個loss了，每次都容易忘，其他的博客還總是不合我的心意，所以打算記一下： 先說二值loss吧，即二分類問題 一、二分類 直接解釋： 假設有兩個類0，1。我們需要做的就是 ...

目錄 符號定義 對 softmax 求導 對 cross-entropy 求導 對 softmax 和 cross-entropy 一起求導 References 在論文中看到對 softmax 和 cross-entropy 的求導，一臉懵逼 ...

1.介紹： 當我們開發一個分類模型的時候，我們的目標是把輸入映射到預測的概率上，當我們訓練模型的時候就不停地調整參數使得我們預測出來的概率和真是的概率更加接近。 這篇文章我 ...

由上述推導可以看出，在使用MSE時，w、b的梯度均與sigmoid函數對z的偏導有關系，而sigmoid函數的偏導在自變量非常大或者非常小時，偏導數的值接近於零，這將導致w、b的梯度將不會變化，也就是出現所謂的梯度消失現象。而使用cross-entropy時，w、b的梯度就不會出現上述的情況 ...

二次代價函數 $C = \frac{1} {2n} \sum_{x_1,...x_n} \|y(x)-a^L(x) \|^2$ 其中，C表示代價函數，x表示樣本，y表示實際值，a表示輸出值，n表示 ...