在神經網絡中，當我們的網絡層數越來越多時，網絡的參數也越來越多，如何對網絡進行訓練呢？我們需要一種強大的算法，無論網絡多復雜，都能夠有效的進行訓練。在眾多的訓練算法中，其中最傑出的代表就是BP算法，它是至今最成功的神經網絡學習算法。在實際任務中，大部分都是使用的BP算法來進行網絡訓練的。值得一提的是，BP算法不僅適用於多層前饋網絡，對於其他類型的神經網絡，例如：訓練卷積神經網絡和遞歸神經網絡。
由於推導過程太多公式，因而我使用的word的截圖。（推導過程參考的是周志華老師的《機器學習》（西瓜書））
通常，標准BP算法和累積BP算法都很常用，標准BP算法每次更新只使用單個樣本，因而參數更新的非常頻繁，而且更新的效果可能因為不同的樣本出現抵消的情況。因此，達到相同的累積誤差極小值，標准BP算法可能需要迭代更多的次數。累積BP算法采用整個訓練集的誤差進行更新，其更新的頻率較低，但累積誤差下降到一定的程度后，進一步的下降將會非常緩慢，尤其是在訓練集很大的時候，這是標准BP算法可能會獲得而較好的效果。