指數加權平均
在深度學習優化算法中，例如Momentum、RMSprop、Adam，都提到了一個概念，指數加權平均，看了Andrew Ng的深度學習課程后，總結一下什么是指數加權平均。
式中v_t可近似代表1/(1-β)個θ的平均值。
偏差修正
由以上證明可以看出，每個最新數據值，依賴於以前的數據結果。
一般令第一個數值為0，即v0=0；但此時初期的幾個計算結果就會與真實的平均值有較大偏差，具體如下：
有了指數加權平均、偏差修正的基礎，就可以研究一下深度學習中優化算法的實現原理了。
點擊進入文章