浅谈pytorch中为什么要用 zero_第1页
浅谈pytorch中为什么要用 zero_第2页
浅谈pytorch中为什么要用 zero_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第浅谈pytorch中为什么要用zeropytorch中为什么要用zero_grad()将梯度清零

调用backward()函数之前都要将梯度清零，因为如果梯度不清零，pytorch中会将上次计算的梯度和本次计算的梯度累加。

这样逻辑的好处是，当我们的硬件限制不能使用更大的bachsize时，使用多次计算较小的bachsize的梯度平均值来代替，更方便，坏处当然是每次都要清零梯度。

optimizer.zero_grad()

output=net(input)

loss=loss_f(output,target)

loss.backward()

补充：Pytorch为什么每一轮batch需要设置optimizer.zero_grad

CSDN上有人写过原因，但是其实写得繁琐了。

根据pytorch中的backward()函数的计算，当网络参量进行反馈时，梯度是被积累的而不是被替换掉；但是在每一个batch时毫无疑问并不需要将两个batch的梯度混合起来累积，因此这里就需要每个batch设置一遍zero_grad了。

其实这里还可以补充的一点是，如果不是每一个batch就清除掉原有的梯度，而是比如说两个batch再清除掉梯度，这是一种变相提高batch_size的方法，对于计算机硬件不行，但是batch_size可能需要设高的领域比较适合，比如目标检测模型的训练。

关于这一点可以参考这里

关于backward()的计算可以参考这里

补充：pytorch踩坑笔记之w.grad.data.zero_()

在使用pytorch实现多项线性回归中，在grad更新时，每一次运算后都需要将上一次的梯度记录清空，运用如下方法:

w.grad.data.zero_()

b.grad.data.zero_()

但是，运行程序就会报如下错误：

报错，grad没有data这个属性，

原因是，在系统将w的grad值初始化为none，第一次求梯度计算是在none值上进行报错，自然会没有data属性

修改方法：添加一个判断语句，从第二次循环开始执行求导运算

foriinrange(100):

y_pred=multi_linear(x_train)

loss=getloss(y_pred,y_train)

ifi!=0:

w.grad.data.zero_()

b.grad.data.zero_()

loss.backward()

w.data=w.data-0.001*w.grad.data

b.data=b.dat

人人文库> 全部分类> 办公材料 > 办公文档

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论