Pytorch使用APEX进行混合精度训练


由于网络优化器使用的是目前各个激光网络开源库Second、Openpcdet等使用的adam_onecycle

无法使用apex.amp进行初始化,应该是无法识别优化器的问题

怎么都无法解决这个问题,最终决定放弃

后面会尝试将torch代码转成pytorch-lightning试试

——————————————分割线——————————————————————————

最后使用pytorch1.6提供的cuda.amp模块实现了混合精度训练,具体看下面这个链接

 

 但是感觉效果不是很明显,我的显卡是2080ti按理说会增快,也不是很理解。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM