如何選擇正確的激活函數？
現在我們已經了解了這么多的激活函數，接下來就需要分析在哪種情況下應該使用哪種激活函數了。激活函數好或壞，不能憑感覺定論。然而，根據問題的性質，我們可以為神經網絡更快更方便地收斂作出更好的選擇。
用於分類器時，Sigmoid函數及其組合通常效果更好。
由於梯度消失問題，有時要避免使用sigmoid和tanh函數。
ReLU函數是一個通用的激活函數，目前在大多數情況下使用。
如果神經網絡中出現死神經元，那么PReLU函數就是最好的選擇。
請記住，ReLU函數只能在隱藏層中使用。
一點經驗：你可以從ReLU函數開始，如果ReLU函數沒有提供最優結果，再嘗試其他激活函數。