為何神經網絡權重初始化要隨機初始化,不能以0為初始化


根據deeplearn.ai吳恩達深度學習課程3.11總結

因為如果W初始化為0 則對於任何Xi,每個隱藏層對應的每個神經元的輸出都是相同的,這樣即使梯度下降訓練,無論訓練多少次,這些神經元都是對稱的,無論隱藏層內有多少個結點,都相當於在訓練同一個函數。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM