目錄 　　梯度消失原因之一：激活函數 　　梯度消失原因之二：初始化權重 　　不同損失函數下RNN的梯度消失程度對比 　　實踐中遇到梯度消失怎么辦？ 　　參考資料 在實踐過程中，RNN的一個缺點是在訓練的過程中容易梯度消失。 梯度消失原因之一：激活函數 ...

目錄 　　梯度消失 　　梯度爆炸 　　參考資料 以下圖的全連接神經網絡為例，來演示梯度爆炸和梯度消失： 梯度消失 在模型參數w都是(-1,1)之間的數的前提下，如果激活函數選擇的是sigmod(x)，那么他的導函數σ’(x ...

目錄 　　一元函數的梯度下降法 　　多元函數的梯度下降法 　　參考資料 梯度下降是一種迭代式的最優化手段，在機器學習中一般用於求目標函數的極小值點，這個極小值點就是最優的模型內部參數。相比求解析解的手段，GD的通用性更強，所以受到廣泛的使用。 一元函數 ...

目錄 　　基礎概念 　　自定義一個網絡為例 　　初始化模型參數 　　計算卷積核上的梯度 　　梯度更新 　　PyTorch實戰 　　參考資料 在很多機器學習的資料中，對梯度反向傳播在全連接神經網絡的應用介紹的比較多；但是較少有介紹過卷積網絡的梯度是如何反向傳播的，這也是知乎公司 ...

目錄 　　一元線性回歸模型 　　一元線性回歸代價函數圖像 　　梯度下降求解 　　SGD、BGD、Mini-batchGD的特點 　　參考資料 在《深度學習面試題03改進版梯度下降法Adagrad、RMSprop、Momentum、Adam》中講到了多種改進的梯度下降公式。而這 ...

目錄 　　長程依賴關系的解釋 　　為什么傳統RNN不能解決長程依賴問題 　　如何解決長程依賴問題 　　參考資料 長程依賴關系的解釋 句子1：the clouds are in the (). 對語言模型而言，這里的()很容易就能 ...

目錄 　　隨機初始化 　　使用預訓練模型 　　參考資料 可以隨機初始化、也可以使用預訓練好的，這里我們分類討論 隨機初始化 從 ...

進行建模的深度模型。在學習之前，先來復習基本的單層神經網絡。 單層神經網絡 ...