指數加權平均 在深度學習優化算法中，例如Momentum、RMSprop、Adam，都提到了一個概念，指數加權平均，看了Andrew Ng的深度學習課程后，總結一下什么是指數加權平均。 式中v_t可近似代表1/(1-β)個θ的平均 ...

一、指數加權平均算法介紹 引言 　　在了解指數加權平均之前，首先我們需要回顧一下求平均數的相關概念，從而進行進一步理解與引導。 如何求平均數 　　平均數求法數學公式： 　　現在舉例說明：比如我們現在有100天的溫度值，要求這100天的平均溫度值 ...

[DeeplearningAI筆記]第二章1.1-1.3偏差/方差/欠擬合/過擬合/訓練集/驗證集/測試集 覺得有用的話,歡迎一起討論相互學習~ 吳恩達老師課程原地址 1.1 訓練/開發/測試集 對於一個數據集而言,可以將一個數據集分為三個部分,一部分作為訓練集 ...

[DeeplearningAI筆記]第二章1.9歸一化normalization 覺得有用的話,歡迎一起討論相互學習~ 吳恩達老師課程原地址 1.9 歸一化Normaliation 訓練神經網絡,其中一個加速訓練的方法就是歸一化輸入(normalize inputs ...

[DeeplearningAI筆記]第二章2.6-2.9Momentum/RMSprop/Adam與學習率衰減 覺得有用的話,歡迎一起討論相互學習~ 吳恩達老師課程原地址 2.6 動量梯度下降法(Momentum) 另一種成本函數優化算法,優化速度一般快於標准的梯度 ...

[DeeplearningAI筆記]第二章3.8-3.9分類與softmax 覺得有用的話,歡迎一起討論相互學習~ 3.8 Softmax regression Softmax回歸.能讓你在試圖識別某一分類時作出預測,或者說是多種分類的一個,不只是識別兩個分類. 以識別圖片 ...

[DeeplearningAI筆記]第二章1.4-1.8正則化與Dropout 覺得有用的話,歡迎一起討論相互學習~ 吳恩達老師課程原地址 1.4 正則化(regularization) 如果你的神經網絡出現了過擬合(訓練集與驗證集得到的結果方差較大),最先想到的方法 ...

[DeeplearningAI筆記]第二章3.4-3.7-Batch NormalizationBN算法 覺得有用的話,歡迎一起討論相互學習~ 3.4正則化網絡的激活函數 Batch歸一化會使你的參數搜索問題變得很容易,使神經網絡對超參數的選擇更加穩定.超參數的范圍會更龐大,工作 ...