假設h(x)是一個激活函數，對於其導數而言，當x趨近於正無窮時，函數的導數趨近於零，我們稱其為右飽和；同理，當x趨近於負無窮時，函數的導數趨近於零，稱其為左飽和。若一個函數既滿足左飽和又滿足右飽和，則該函數為飽和，典型的有sigmoid、Tanh函數。
硬飽和：
對於任意的x。若存在常數c，當x>c時，恆有 
成立，則稱其為右硬飽和。同理，若存在常數c，當x<c時，恆有
成立，則稱其為左硬飽和。當一個函數既滿足又硬飽和和左硬飽和，則稱該函數為硬飽和。
軟飽和：
對於任意的x。若存在常數c，當x>c時，恆有 
，則稱其為右軟飽和。同理，若存在常數c，當x<c時，恆有
，則稱其為左軟飽和。當一個函數既滿足右軟飽和和左軟飽和，則稱該函數為軟飽和。
（1）sigmoid：
數學表達式：
特性：sigmoid是使用范圍最廣的一類激活函數，具有指數函數的形狀，在物理上最接近神經元。它的輸出范圍在0~1之間，可表示成概率或者用於數據的歸一化。
它的缺點也很明顯，其一是具有軟飽和性。當其后向傳遞時，sigmoid向下傳遞一個包含了 的因子。因此，一旦落入飽和區， 就越趨近於0，這就導致向后傳遞的梯度越來越小。因而，網絡也很難得到有效的訓練，這就是梯度消失問題。一般在5層內就會出現梯度消失現象。其二，sigmoid的輸出一直是大於0的，這種使輸出不為零均值的現象，將其稱為偏置。這就導致后一層的神經元將得到上一層神經元輸出的非零值的信號作為輸入。
（2）tanh：
數學表達式為：
特性：其輸出均值為零，而且收斂的速度要比sigmoid快，但是也具有軟飽和性。
（3）ReLU（Rectified Linear Units）:
其函數表達式為：
。
特性：它的翻譯中文名叫線性整流單元或者修正線性單元。它在x>0的時候，不存在飽和問題，從而使得梯度不會保持一直衰減，梯度消失問題也得到解決。但是，隨着訓練的推進，部分輸入會落入硬飽和的區域，這就導致權值無法正常更新，我們將該現象成為“神經死亡”。該函數也具有偏置現象，因為輸出的均值大於0。偏置現象和“神經死亡”共同影響網絡的收斂性。
導致“神經死亡”的原因在於當x<0時，該函數值一直為0。為了改進這一問題，Kaiming He，Xiangyu Zhang等人提出了一個參數化整流線性單元P-ReLU改進模型擬合，將常數0換成 
，
為學習參數，初始化的數值設定為0.25。
（4）ELU：
也就是將ReLU中的常數0，替換為
。
特性：左側軟飽和，右側無飽和。右側的線性部分可以解決梯度消失問題，左側的軟飽和對輸入噪聲具有更好的魯棒性，而且ELU的輸出均值為0，所以收斂的速度也很快。