Batchsize與learning rate

https://www.zhihu.com/question/64134994

1、增加batch size會使得梯度更准確，但也會導致variance變小，可能會使模型陷入局部最優；

2、因此增大batch size通常要增大learning rate，比如batch size增大m倍，lr增大m倍或者sqrt(m)倍，但並不固定；

3、learning rate的增加通常不能直接增加太大，一般會通過warm up逐步增大；

4、warm up策略參考 Bag of Freebies for Training Object Detection Neural Networks

    准備用m個batches來熱身，准備的初始學習率是 ,然后在每個batch ,將每次的學習率設為 i*n/m