上次開會，被當眾處刑說我的resnet34 epoch15時不收斂
於是想要深究到底什么是不收斂？
- 理解
打個簡單的比方,訓練網絡,就好比解方程,為了得到這個方程的極值點,訓練的過程就好比是找准一個方向,不斷的朝這個方向靠近,使得方程的值不斷減小,最終達到極值點,而不收斂,就是,不論你怎么跑,方程的解都不減小.即達不到最后的極值點.在loss上就表現為穩定性的比較大.跟迭代不收斂或者系統不穩定差不多，上下波動不能趨近一個定值。
- 可能原因
網絡不收斂直觀體現是loss函數無法下降，本質上是網絡或者訓練方法有問題，包括bachsize尺寸，是否數據歸一化，學習率設計，初始化權重等，這些都需要檢查一下