训练时出现invalid argument: Nan in summary histogram for: image_pooling/BatchNorm/moving_variance_1


1.训练到一半或者刚开始save ckpt的时候会出现如下问题

2.根据https://blog.csdn.net/qq_41046851/article/details/90552364调大训练batch_size,没有成功

3.根据https://blog.csdn.net/jairana/article/details/83900226#41__294fine_tune_batch_norm=False,没有成功,learning_rate已经是0.0001了

4.将exp/train_on_trainval_set/train中的数据都删除后(即将上一次训练得到的结果删除),成功运行,并且通过上述更改解决了昨天在训练一段时间后出错的问题,现在训练迭代1000次也能正常运行。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM