Relu不適合梯度過大的的輸入
Relu是我們在訓練網絡時常用的激活函數之一（對我而言沒有之一）。然而最近發現Relu太脆弱了，經常由於輸入的函數梯度過大導致網絡參數更新后，神經元不再有激活功能。特別是網絡在訓練剛開始的時候（如果在使用Focal loss,這種現象更容易發生）。
在這種情況下，或許softplus可以嘗試一下。相關資料請移步softplus(softplus)
Relu的缺點
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。