1.train loss 不斷下降,dev(或test) loss不斷下降:說明網絡仍在學習。
2.train loss 不斷下降,dev(或test) loss趨於不變:說明網絡過擬合。
3.train loss 趨於不變,dev(或test) loss不斷下降:說明數據集100%有問題。
4.train loss 趨於不變,dev(或test) loss趨於不變:說明學習遇到瓶頸,需要減小學習率或批量數目,或者是數據集有問題(數據集標注錯誤數據比較多)。
5.train loss 不斷上升,dev(或test) loss不斷上升:說明網絡結構設計不當,訓練超參數設置不當,數據集未經過清洗等問題。
測試集准確率低
1.訓練集准確率低,測試集准確率低 ---- 欠擬合
2.訓練集准確率高,測試集准確率低 ---- 過擬合