深度學習模型參數初始化的方法


(1)Gaussian 滿足mean=0,std=1的高斯分布x∼N(mean,std2)

(2)Xavier 滿足x∼U(−a,+a)x∼U(−a,+a)的均勻分布, 其中 a = sqrt(3/n)

(3)MSRA 滿足x∼N(0,σ2)x∼N(0,σ2)的高斯分布,其中σ = sqrt(2/n)

(4)Uniform 滿足min=0,max=1的均勻分布。x∼U(min,max)x∼U(min,max)

等等 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM