PyTorch笔记--shuffle=True


在机器学习中,我们会将数据集分成很多个批次来训练。每次抛出一个批次的数据来计算损失函数,再根据损失函数计算参数的梯度。

再根据梯度来更新参数。然后数据加载器会接着抛出下一个批次的数据来计算损失函数,。。。

如下图所示,起初随机选择一个参数的初值theta0。损失函数L1是参数theta0的表达式,根据第一个批次的数据计算L1,并对theta0求导求出梯度g,

根据梯度更新theta0,更新后的参数是theta1。损失函数L2现在是theta1的表达式,根据第二个批次的数据计算L2,并对theta1求导计算出梯度g后

再更新参数。不断这样的执行下去。直至所有的批次都被计算完。

 

 所有的批次的数据都遍历一遍叫做一个epoch。shuffle是洗牌的意思,它就是说在一个epoch之后,对所有的数据随机打乱,再按照设定好的每个批次

的大小划分批次。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM