訓練時出現invalid argument: Nan in summary histogram for: image_pooling/BatchNorm/moving_variance_1


1.訓練到一半或者剛開始save ckpt的時候會出現如下問題

2.根據https://blog.csdn.net/qq_41046851/article/details/90552364調大訓練batch_size,沒有成功

3.根據https://blog.csdn.net/jairana/article/details/83900226#41__294fine_tune_batch_norm=False,沒有成功,learning_rate已經是0.0001了

4.將exp/train_on_trainval_set/train中的數據都刪除后(即將上一次訓練得到的結果刪除),成功運行,並且通過上述更改解決了昨天在訓練一段時間后出錯的問題,現在訓練迭代1000次也能正常運行。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM