神經網絡的參數初始化和批量歸一化
1 參數初始化 神經網絡的參數學習是一個非凸優化問題,在使用梯度下降法進行網絡參數優化時,參數初始值的選取十分關鍵,關系到網絡的優化效率(梯度消失和梯度爆炸問題)和泛化能力(局部最優解問題)。參數初 ...
1 參數初始化 神經網絡的參數學習是一個非凸優化問題,在使用梯度下降法進行網絡參數優化時,參數初始值的選取十分關鍵,關系到網絡的優化效率(梯度消失和梯度爆炸問題)和泛化能力(局部最優解問題)。參數初 ...