博客：blog.shinelee.me | 博客園 | CSDN
前向傳播與反向傳播回顧
神經網絡的訓練過程可以簡化成以下步驟，
- 輸入預處理（feature scaling等）
- 初始化網絡weight和bias
- 前向傳播，得到網絡輸出
- 計算損失函數，得到當前損失
- 反向傳播，根據鏈式法則，逐層回傳得到損失函數對當前參數的偏導，根據梯度下降算法對當前參數進行更新
- 重復步驟3 4 5，直到損失不再減小，即收斂
一個簡單的前向傳播和反向傳播的示意圖如下，線性組合和非線性激活交替進行，線性組合層可以為全連接層或卷積層等，圖片來自鏈接，
梯度下降算法的參數更新公式為，
其中\(C=J(W)\)為損失函數，即通過參數的偏導對參數進行更新。反向傳播時，由鏈式法則，偏導反向回傳，逐層計算損失函數對當前參數的偏導。對某個參數的偏導為一串因子的乘積，因子依次為損失函數對網絡輸出的偏導、激活函數的偏導、線性組合的偏導、激活函數的偏導、線性組合的偏導……如下面所示（來自鏈接），這里，損失為二分之LMS，用\(C\)表示，\(z\)為線性組合的輸出（激活層的輸入），\(a\)為激活層的輸出（線性組合的輸入），
仔細觀察上式，偏導為一串因子的乘積，因子中的每一項對乘積結果都有影響，有幾點需要注意，回傳時，
- 每個權重的偏導中含有一個共同的因子項，為損失函數對網絡輸出的偏導
- 每經過一個激活層，就有一個激活函數偏導作為因子項，如\(\sigma'(z^L)=\frac{\partial a^L}{\partial z^L}\)
- 對當前線性組合層的權重求偏導，含且只含一個當前層的輸入（前一層的輸出）作為因子項，如\(a^{L-1}\)
- 每經過一個線性組合層（全連接層or卷積層），就有一個權重矩陣作為因子項，如\(w^L\)
所以，激活函數的偏導、權重矩陣、當前層的輸入（前一層的輸出），這些項的取值均會對偏導數產生影響，偏導數為這些因子項共同作用的結果，特別地，
- 若激活函數偏導為0，則權重偏導為0；
- 若前一層的輸出（當前層輸入）為0，則當前層權重的偏導為0；
- 若后一層的權重\(w^L\)為0，則當前層權重的偏導\(\frac{\partial C}{\partial {w^{L-1}}}\)為0；
直覺上，因子項連乘可能隱含潛在的問題：\(0.25^{10} = 0.00000095367431640625\)，\(2^{10}=1024\)。對於現在動輒幾十、成百、上千層的網絡，這些因子項的取值范圍極大地影響着權重偏導的結果：小了，經過連續相乘，結果可能接近於0，大了，結果可能超過數據類型的上界。同時，網絡的深度讓這個問題指數級地放大了。
梯度消失與梯度爆炸
梯度為偏導數構成的向量。
損失函數收斂至極小值時，梯度為0（接近0），損失函數不再下降。我們不希望在抵達極小值前，梯度就為0了，也不希望下降過程過於震盪，甚至不收斂。梯度消失與梯度爆炸分別對應這2種現象，
梯度消失(vanishing gradients)：指的是在訓練過程中，梯度（偏導）過早接近於0的現象，導致（部分）參數一直不再更新，整體上表現得像損失函數收斂了，實際上網絡尚未得到充分的訓練。
梯度爆炸（exploding gradients）：指的是在訓練過程中，梯度（偏導）過大甚至為NAN（not a number）的現象，導致損失劇烈震盪，甚至發散(divergence)。
由上一節的分析可知，在梯度（偏導）計算中，主要的影響因素來自激活函數的偏導、當前層的輸入（前一層的輸出）、以及權重的數值等，這些因子連續相乘，帶來的影響是指數級的。訓練階段，權重在不斷調整，每一層的輸入輸出也在不斷變化，梯度消失和梯度爆炸可能發生在訓練的一開始、也可能發生在訓練的過程中。
因子項中當前層的輸入僅出現一次，下面着重看一下激活函數和權重的影響。
激活函數的影響
以Sigmoid和Tanh為例，其函數與導數如下（來自鏈接），
兩者的導數均在原點處取得最大值，前者為0.25后者為1，在遠離原點的正負方向上，兩者導數均趨近於0，即存在飽和區。
- 原點附近：從因子項連乘結果看，Tanh比Sigmoid稍好，其在原點附近的導數在1附近，如果激活函數的輸入均在0左右，偏導連續相乘不會很小也不會很大。而sigmoid就會比較糟糕，其導數最大值為0.25，連續相乘會使梯度指數級減小，在反向傳播時，對層數越多的網絡，淺層的梯度消失現象越明顯。
- 飽和區：一旦陷入飽和區，兩者的偏導都接近於0，導致權重的更新量很小，比如某些權重很大，導致相關的神經元一直陷在飽和區，更新量又接近於0，以致很難跳出或者要花費很長時間才能跳出飽和區。
所以，一個改善方向是選擇更好的非線性激活函數，比如ReLU，相關激活函數如下圖所示，
ReLU只在負方向上存在飽和區，正方向上的導數均為1，因此相對更少地遭遇梯度消失，但梯度爆炸現象仍然存在。
權重矩陣的影響
假設激活函數為線性，就像ReLU的正向部分，導數全為1。則一個簡化版本的全連接神經網絡如下圖所示，
假設權重矩陣均為\(W\)，前向傳播和反向傳播過程均涉及\(W\)（轉置）的反復相乘，\(t\)步相當於\(W^t\)，若\(W\)有特征值分解$W=V \ diag(\lambda) \ V^{-1} $，簡單地，
其中\(diag(\lambda)\)為特征值對角矩陣，如果特征值\(\lambda_i\)不在1附近，大於1經過\(t\)次冪后會“爆炸”，小於1經過\(t\)次冪后會“消失”。
如果網絡初始化時，權重矩陣過小或過大，則在網絡訓練的初始階段就可能遭遇梯度消失或梯度爆炸，表現為損失函數不下降或者過於震盪。
不良初始化
至此，一些權重不良初始化導致的問題就不難解釋了，
-
過小，導致梯度消失
-
過大，導致梯度爆炸
-
全常數初始化，即所有權重\(W\)都相同，則\(z^{(2)}=W^1 x\)相同，導致后面每一層的輸入和輸出均相同，即\(a\)和\(z\)相同，回到反向傳播的公式，每層的偏導相同，進一步導致每層的權重會向相同的方向同步更新，如果學習率只有一個，則每層更新后的權重仍然相同，每層的效果等價於一個神經元，這無疑極大限制了網絡的能力。
-
特別地，全0初始化，根據上式，如果激活函數\(g(0) = 0\)，如ReLU，則初始狀態所有激活函數的輸入\(z\)和輸出\(a\)都為0，反向傳播時所有的梯度為0，權重不會更新，一直保持為0；如果激活函數\(g(0) \neq 0\)，則初始狀態激活層的輸入為0，但輸出\(a\neq 0\)，則權重會從最后一層開始逐層向前更新，改變全0的狀態，但是每層權重的更新方向仍相同，同上。
這幾種權重初始化方法對網絡訓練過程的影響，可在Initializing neural networks進行可視化實驗，可觀察權重、梯度和損失的變化，美中不足的是隱藏層的激活函數只有ReLU，不能更換為Sigmoid、Tanh等，如下所示，
話說回來，所以我們需要好的網絡初始化方法，以對反向傳播過程中的梯度有所控制。對反向傳播中梯度加以控制的方法，不止這里提到的激活函數和權重初始化，還有梯度截斷（gradient clipping）、網絡模型設計方面等方法，因為本文的重點在於權重初始化，對此按下不表。
那么，合適的網絡初始化方法是什么呢？我們下回分解。