Batchsize与learning rate

本文转载自查看原文 2019-09-13 16:41 524

https://www.zhihu.com/question/64134994

1、增加batch size会使得梯度更准确，但也会导致variance变小，可能会使模型陷入局部最优；

2、因此增大batch size通常要增大learning rate，比如batch size增大m倍，lr增大m倍或者sqrt(m)倍，但并不固定；

3、learning rate的增加通常不能直接增加太大，一般会通过warm up逐步增大；

准备用m个batches来热身，准备的初始学习率是 $\eta$ ,然后在每个batch $i, 1\leq i\leq m$ ,将每次的学习率设为 i*n/m

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 Learning rate这件小事学习率 Learning Rate pytorch learning rate decay learning rate warmup实现 Adam和学习率衰减（learning rate decay） Keras 自适应Learning Rate (LearningRateScheduler) TensorFlow使用记录 (三）： Learning Rate Scheduling 深度学习: 学习率 (learning rate) 权重衰减（weight decay）与学习率衰减（learning rate decay）学习率(Learning rate)的理解以及如何调整学习率