[DeeplearningAI筆記]第二章1.4-1.8正則化與Dropout 覺得有用的話,歡迎一起討論相互學習~ 吳恩達老師課程原地址 1.4 正則化(regularization) 如果你的神經網絡出現了過擬合(訓練集與驗證集得到的結果方差較大),最先想到的方法 ...

[DeeplearningAI筆記]第二章2.6-2.9Momentum/RMSprop/Adam與學習率衰減 覺得有用的話,歡迎一起討論相互學習~ 吳恩達老師課程原地址 2.6 動量梯度下降法(Momentum) 另一種成本函數優化算法,優化速度一般快於標准的梯度 ...

[DeeplearningAI筆記]第二章3.8-3.9分類與softmax 覺得有用的話,歡迎一起討論相互學習~ 3.8 Softmax regression Softmax回歸.能讓你在試圖識別某一分類時作出預測,或者說是多種分類的一個,不只是識別兩個分類. 以識別圖片 ...

[DeeplearningAI筆記]第二章2.3-2.5帶修正偏差的指數加權平均 覺得有用的話,歡迎一起討論相互學習~ 吳恩達老師課程原地址 2.3 指數加權平均 舉個例子,對於圖中英國的溫度數據計算移動平均值或者說是移動平均值(Moving average ...

[DeeplearningAI筆記]第二章3.4-3.7-Batch NormalizationBN算法 覺得有用的話,歡迎一起討論相互學習~ 3.4正則化網絡的激活函數 Batch歸一化會使你的參數搜索問題變得很容易,使神經網絡對超參數的選擇更加穩定.超參數的范圍會更龐大,工作 ...

[DeeplearningAI筆記]第二章1.1-1.3偏差/方差/欠擬合/過擬合/訓練集/驗證集/測試集 覺得有用的話,歡迎一起討論相互學習~ 吳恩達老師課程原地址 1.1 訓練/開發/測試集 對於一個數據集而言,可以將一個數據集分為三個部分,一部分作為訓練集 ...

： 第二步是，歸一化方差，上圖中，特征x1的方差比特征x2的方差要大的多，處理如下： ...

論文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Internal Covariate Shift 深度神經網絡涉及到很多層 ...