梯度積累優化

由於顯卡限制batch size，通過梯度累積優化彌補。

在訓練的時候先累積多個batch的梯度，然后進行反向傳播。

網絡中的bn層會對梯度累積造成一定的影響。

pytorch網絡，如果bn層對整體模型影響不大，可以在訓練時也用model.eval()凍結bn層。

 

pytorch：https://www.cnblogs.com/lart/p/11628696.html

tensorflow：https://www.lizenghai.com/archives/24715.html