上次开会，被当众处刑说我的resnet34 epoch15时不收敛
于是想要深究到底什么是不收敛？
- 理解
打个简单的比方,训练网络,就好比解方程,为了得到这个方程的极值点,训练的过程就好比是找准一个方向,不断的朝这个方向靠近,使得方程的值不断减小,最终达到极值点,而不收敛,就是,不论你怎么跑,方程的解都不减小.即达不到最后的极值点.在loss上就表现为稳定性的比较大.跟迭代不收敛或者系统不稳定差不多，上下波动不能趋近一个定值。
- 可能原因
网络不收敛直观体现是loss函数无法下降，本质上是网络或者训练方法有问题，包括bachsize尺寸，是否数据归一化，学习率设计，初始化权重等，这些都需要检查一下