雖然數學不是那么好，但還是要對這個經典算法真正推導一遍心里才安穩。
主要參考資料:ufldl
開始：首先要明確，反向傳播算法，是為了計算loss相對於w,b的偏導數，以此來更新每次學習的ｗ,b，是一個巧妙地計算方法。
首先定義loss函數：
乍一看，這怎么求關於每個權值的偏導數呢？別急，反向傳播算法的一個巧妙之處就是沒有直接去定義loss相對於ｗ，ｂ的偏導數，而是先定義了一個殘差的概念
以下直接上手寫圖了（太多公式）：
一些注意點明天寫！
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。