深度卷積網絡原理—非線性激活的必要性

假設有如上圖所示的神經網絡實例圖

網絡描述如下：

1）有2個輸入，即圖中的x₁、x₂

2）有3個神經元，即途中的b₁、b₂、b₃

3）共2層網絡。第1層的神經元是b₁、b₂，第2層的神經元是b₃.可將中間層稱為隱層。例如途中的b₁、b₂就屬於隱層

4）有6個權重(w₁₁到w₂₃）。最終輸出為OUT。

 

神經元b₁的輸出是： x₁w₁₁+x₂w₂₁+b₁

神經元b2的輸出是：x₁w₁₂+x₂w₂₂+b₂

 

如果沒有非線性激活，那么最終的輸出OUT的計算公式是：

OUT=（x₁w₁₁ + x₂w₂₁ + b₁)* w₁₃ + (x₁w₁₂ + x₂w₂₂ + b₂)*w₂₃ + b₃

        =x₁*(w₁₁w₁₃ + w₁₂w₂₃) + x₂ * (w₂₁w₁₃ + w₂₂w₂₃)+(b₁w₁₃ +b₂w₂₃ +b₃)

 

從上面的公式可以看出，雖然用了3個神經元，但這個網絡對於x₁和x₂仍然是線性的，完全等價於1個神經元的效果。

如下圖：

 

因此，如果只是把神經元簡單的連接在一起，不加入非線性處理，最終得到的仍然是線性函數，無法完成描述各種復雜的現象，可看出在神經元的輸出時需要一個非線性函數是必要的。

 

若非線性激活函數對於中間層神經元是f，對於最終輸出神經元是g，那么，對於此前的網絡，最終的輸出會變為：

OUT=g(f(x₁w₁₁ + x₂w₂₁ +  b₁)* w₁₃ + f(x₁w₁₂ + x₂w₂₂+b₂)*w₂₃ + b₃)

由於f和g都是非線性的，於是最終可得到非線性的網絡輸出，即可擬合出復雜的數據。