【優化技巧】指數移動平均EMA的原理


前言

在深度學習中,經常會使用EMA(exponential moving average)方法對模型的參數做平滑或者平均,以求提高測試指標,增加模型魯棒性。

 

參考

1. 【優化技巧】指數移動平均(EMA)的原理及PyTorch實現

2. 理解滑動平均(exponential moving average)

3.demo;

4. 移動平均算法公式


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM