指数移动平均（EMA）的原理及PyTorch实现

本文转载自查看原文 2021-04-12 09:23 651 Pytorch/ 深度学习/ Python

【炼丹技巧】

在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。

今天瓦砾准备介绍一下EMA以及它的Pytorch实现代码。

EMA的定义

指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。

假设我们有n个数据： $[\theta_1, \theta_2, ..., \theta_n]$

普通的平均数： $\overline{v}=\frac{1}{n}\sum_{i=1}^n \theta_i$
EMA： $v_t = \beta\cdot v_{t-1} + (1-\beta)\cdot \theta_t$ ，其中， $v_t$ 表示前 $t$ 条的平均值 ( $v_0=0$ )， $\beta$ 是加权权重值 (一般设为0.9-0.999)。

Andrew Ng在Course 2 Improving Deep Neural Networks中讲到，EMA可以近似看成过去 $1/(1-\beta)$ 个时刻 $v$ 值的平均。

普通的过去 $n$ 时刻的平均是这样的：

$v_t =\frac{(n-1)\cdot v_{t-1}+\theta_t}{n}$

类比EMA，可以发现当 $\beta=\frac{n-1}{n}$ 时，两式形式上相等。需要注意的是，两个平均并不是严格相等的，这里只是为了帮助理解。

实际上，EMA计算时，过去 $1/(1-\beta)$ 个时刻之前的数值平均会decay到 $\frac{1}{e}$ 的加权比例，证明如下。

如果将这里的 $v_t$ 展开，可以得到：

$v_t = \alpha^n v_{t-n} + (1-\alpha)(\alpha^{n-1}\theta_{t-n+1}+ ... +\alpha^0\theta_t)$

其中， $n=\frac{1}{1-\alpha}$ ，代入可以得到 $\alpha^n=\alpha^{\frac{1}{1-\alpha}}\approx \frac{1}{e}$ 。

在深度学习的优化中的EMA

上面讲的是广义的ema定义和计算方法，特别的，在深度学习的优化过程中， $\theta_t$ 是t时刻的模型权重weights， $v_t$ 是t时刻的影子权重（shadow weights）。在梯度下降的过程中，会一直维护着这个影子权重，但是这个影子权重并不会参与训练。基本的假设是，模型权重在最后的n步内，会在实际的最优点处抖动，所以我们取最后n步的平均，能使得模型更加的鲁棒。

EMA的偏差修正

实际使用中，如果令 $v_0=0$ ，且步数较少，ema的计算结果会有一定偏差。

理想的平均是绿色的，因为初始值为0，所以得到的是紫色的。

因此可以加一个偏差修正（bias correction）：

$v_t = \frac{v_t}{1-\beta^t}$

显然，当t很大时，修正近似于1。

EMA为什么有效

网上大多数介绍EMA的博客，在介绍其为何有效的时候，只做了一些直觉上的解释，缺少严谨的推理，瓦砾在这补充一下，不喜欢看公式的读者可以跳过。

令第n时刻的模型权重（weights）为 $v_n$ ，梯度为 $g_n$ ，可得：

$\begin{align} \theta_n &= \theta_{n-1}-g_{n-1} \\ &=\theta_{n-2}-g_{n-1}-g_{n-2} \\ &= ... \\ &= \theta_1-\sum_{i=1}^{n-1}g_i \end{align}$

令第n时刻EMA的影子权重为 $v_n$ ，可得：

$\begin{align} v_n &= \alpha v_{n-1}+(1-\alpha)\theta_n \\ &= \alpha (\alpha v_{n-2}+(1-\alpha)\theta_{n-1})+(1-\alpha)\theta_n \\ &= ... \\ &= \alpha^n v_0+(1-\alpha)(\theta_n+\alpha\theta_{n-1}+\alpha^2\theta_{n-2}+...+\alpha^{n-1}\theta_{1}) \end{align}$

代入上面 $\theta_n$ 的表达，令 $v_0=\theta_1$ 展开上面的公式，可得：

$\begin{align} v_n &= \alpha^n v_0+(1-\alpha)(\theta_n+\alpha\theta_{n-1}+\alpha^2\theta_{n-2}+...+\alpha^{n-1}\theta_{1})\\ &= \alpha^n v_0+(1-\alpha)(\theta_1-\sum_{i=1}^{n-1}g_i+\alpha(\theta_1-\sum_{i=1}^{n-2}g_i)+...+ \alpha^{n-2}(\theta_1-\sum_{i=1}^{1}g_i)+\alpha^{n-1}\theta_{1})\\ &= \alpha^n v_0+(1-\alpha)(\frac{1-\alpha^n}{1-\alpha}\theta_1-\sum_{i=1}^{n-1}\frac{1-\alpha^{n-i}}{1-\alpha}g_i) \\ &= \alpha^n v_0+(1-\alpha^n)\theta_1 -\sum_{i=1}^{n-1}(1-\alpha^{n-i})g_i\\ &= \theta_1 -\sum_{i=1}^{n-1}(1-\alpha^{n-i})g_i \end{align}$

对比两式：

$\begin{align} \theta_n &= \theta_1-\sum_{i=1}^{n-1}g_i \\ v_n &= \theta_1 -\sum_{i=1}^{n-1}(1-\alpha^{n-i})g_i \end{align}$

EMA对第i步的梯度下降的步长增加了权重系数 $1-\alpha^{n-i}$ ，相当于做了一个learning rate decay。

PyTorch实现

瓦砾看了网上的一些实现，使用起来都不是特别方便，所以自己写了一个。

class EMA(): def __init__(self, model, decay): self.model = model self.decay = decay self.shadow = {} self.backup = {} def register(self): for name, param in self.model.named_parameters(): if param.requires_grad: self.shadow[name] = param.data.clone() def update(self): for name, param in self.model.named_parameters(): if param.requires_grad: assert name in self.shadow new_average = (1.0 - self.decay) * param.data + self.decay * self.shadow[name] self.shadow[name] = new_average.clone() def apply_shadow(self): for name, param in self.model.named_parameters(): if param.requires_grad: assert name in self.shadow self.backup[name] = param.data param.data = self.shadow[name] def restore(self): for name, param in self.model.named_parameters(): if param.requires_grad: assert name in self.backup param.data = self.backup[name] self.backup = {} # 初始化 ema = EMA(model, 0.999) ema.register() # 训练过程中，更新完参数后，同步update shadow weights def train(): optimizer.step() ema.update() # eval前，apply shadow weights；eval之后，恢复原来模型的参数 def evaluate(): ema.apply_shadow() # evaluate ema.restore()

更优雅的排版见主页：瓦特兰蒂斯

References

编辑于 2019-12-28

原文链接：https://zhuanlan.zhihu.com/p/68748778

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 【优化技巧】指数移动平均EMA的原理用 Python 实现股票指数移动平均线，计算篇(关于EMA5,EMA20,SMA5,SMA10等) 指数加权移动平均指数加权移动平均移动平均法 and 指数平滑法指数加权移动平均法（EWMA）使用excel计算指数平滑和移动平均指数加权移动平均法（EWMA）简单移动平均线、加权移动平均线、指数平滑移动平均多种移动平均计算总结（MA,EMA,SMA,DMA,TMA,WMA）