一、MSE 損失函數推導
前向傳播過程：
梯度反向傳播公式推導：
定義殘差：
則
殘差推導如下：
對於最后一層：
廣義上，左邊項（-（···））是定義的損失函數對其輸入（即最后一層神經元值）的導數，右項是sigmoind求導，這兩項都是根據實際使用可以替換的。
對於隱藏層：
若去掉下標i，則有
其中
的操作是把兩個向量對應元素相乘組成新的元素。
參考：
https://www.cnblogs.com/nowgood/p/backprop2.html
https://zhuanlan.zhihu.com/p/25416673
二、交叉熵損失函數推導
只放出最后一層殘差：
參考：https://blog.csdn.net/Charel_CHEN/article/details/81266838
三、二元交叉熵損失梯度推導
參考：https://blog.csdn.net/chansonzhang/article/details/84674144
四、L2正則化以及反向傳播
參考：https://blog.csdn.net/obrightlamp/article/details/85290929
五、CNN反向傳播算法總結
注釋：CNN反向傳播主要解決四個問題
一二問對應步驟d-3，三問對應步驟d-2，四問對應步驟2-2-2.
具體推導細節請移步：https://www.cnblogs.com/pinard/p/6494810.html