BN目的是使得每層訓練的輸出結果在同一分布下,實驗證明不僅可以加速收斂速度,還可以提高准確度
因為如果想要計算所有圖像的均值與方差,顯然不太現實,所以每次計算每個batch的方差與均值,為了使得每個batch的方差與均值盡可能的接近整體分布方差與均值的估計值,這里采用一種指數移動平均
BN目的是使得每層訓練的輸出結果在同一分布下,實驗證明不僅可以加速收斂速度,還可以提高准確度
因為如果想要計算所有圖像的均值與方差,顯然不太現實,所以每次計算每個batch的方差與均值,為了使得每個batch的方差與均值盡可能的接近整體分布方差與均值的估計值,這里采用一種指數移動平均
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。