有两种方式把模型的参数梯度设成0：
model.zero_grad() optimizer.zero_grad()#当optimizer=optim.Optimizer(model.parameters())时，两者等效
如果只想要把某一Variable的梯度置为0，只需要以下语句：
Variable.grad.data.zero_()
参考1：model.zero_grad() 与 optimizer.zero_grad()
model.zero_grad() & optimizer.zero_grad()
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。
猜您在找
optimizer.zero_grad() loss.backward() optimizer.step()分别的用法和作用
PyTorch中，关于model.eval()和torch.no_grad()
Pytorch 中 model.eval() 和 with torch.no_grad() 的区别
深度学习笔记 目标函数的总结与整理 model.compile(loss='categorical_crossentropy',optimizer=sgd,metrics=['accuracy'])
with torch.no_grad()详解
with torch.no_grad()用处
A Modified Particle Swarm Optimizer
scipy优化器optimizer
optimizer.state_dict()、optimizer.param_groups
tensorflow layout optimizer && conv autotune