model.zero_grad() & optimizer.zero_grad()

　有兩種方式把模型的參數梯度設成0：

model.zero_grad()
optimizer.zero_grad()#當optimizer=optim.Optimizer(model.parameters())時，兩者等效

　如果只想要把某一Variable的梯度置為0，只需要以下語句：

Variable.grad.data.zero_()

 

---

參考1：model.zero_grad() 與 optimizer.zero_grad()

---