神經網絡損失函數公式解讀

原文地址：https://www.cnblogs.com/pinard/p/6437495.html

上面地址是一篇講解DNN的文章，其中部分公式推導過程，自己在這里做一些記錄，方便以后查閱。

 

上圖公式由下兩圖公式得來，a^L  = [ 1/ (1 + e^-z) ]對z的求導，用到了sigmoid函數，sigmoid函數求導后的結果 [ e^-z / (1 + e^-z)² ]，經過轉換變成了（a^L)(1-a^L)。紅色部分是巧妙點，所以softmax的交叉熵損失函數可以規避sigmoid函數導數為0的問題，解決了梯度消失問題。