https://blog.csdn.net/ChenVast/article/details/81382795
激活函數是模型整個結構中的非線性扭曲力
神經網絡的每層都會有一個激活函數
1、邏輯函數（Sigmoid）：
使用范圍最廣的一類激活函數，具有指數函數形狀，它在物理意義上最為接近生物神經元。
其自身的缺陷，最明顯的就是飽和性。從函數圖可以看到，其兩側導數逐漸趨近於0，殺死梯度。
函數圖像：
2、正切函數（Tanh）：
非常常見的激活函數。與sigmoid相比，它的輸出均值是0，使得其收斂速度要比sigmoid快，減少迭代次數。
相對於sigmoid的好處是他的輸出的均值為0，克服了第二點缺點。但是當飽和的時候還是會殺死梯度。
函數圖：
3、線性整流函數（Rectified Linear Unit，ReLU）：
最近幾年比較受歡迎的一個激活函數
無飽和區，收斂快、計算簡單、有時候會比較脆弱，如果變量的更新太快，還沒有找到最佳值，就進入小於零的分段就會使得梯度變為0，無法更新直接死掉了。
函數圖：
4、ELU函數（Exponential Linear Unit）：
融合了sigmoid和ReLU，左側具有軟飽和性，右側無飽和性。
右側線性部分使得ELU能夠緩解梯度消失，而左側軟飽能夠讓ELU對輸入變化或噪聲更魯棒。
因為函數指數項所以計算難度會增加
函數圖：
5、Softplus函數：
函數圖：
6、恆同映射（Identity）：
7、Maxout：
他是ReLU和LReLU的一般化公式（如ReLU就是將w1和b1取為0）。所以他用於ReUL的優點而且沒有死區，但是它的參數數量卻增加了一倍。
maxout網絡能夠近似任意連續函數，且當w2,b2,…,wn,bn為0時，退化為ReLU。Maxout能夠緩解梯度消失，同時又規避了ReLU神經元死亡的缺點，但增加了參數和計算量。
8、其他幾種激活函數的比較如圖：
神經網絡之所以為非線性模型的關鍵，關鍵在於激活函數。