relu函數是否存在梯度消失問題以及relu函數的死亡節點問題
存在，在小於的時候，激活函數梯度為零，梯度消失，神經元不更新，變成了死亡節點。
出現這個原因可能是因為學習率太大，導致w更新巨大，使得輸入數據在經過這個神經元的時候，輸出值小於0，從而經過激活函數的時候為0，從此不再更新。所以relu為激活函數，學習率不能太大
relu函數是否存在梯度消失問題以及relu函數的死亡節點問題
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。