Pytorch使用APEX進行混合精度訓練


由於網絡優化器使用的是目前各個激光網絡開源庫Second、Openpcdet等使用的adam_onecycle

無法使用apex.amp進行初始化,應該是無法識別優化器的問題

怎么都無法解決這個問題,最終決定放棄

后面會嘗試將torch代碼轉成pytorch-lightning試試

——————————————分割線——————————————————————————

最后使用pytorch1.6提供的cuda.amp模塊實現了混合精度訓練,具體看下面這個鏈接

 

 但是感覺效果不是很明顯,我的顯卡是2080ti按理說會增快,也不是很理解。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM