原文：https://blog.csdn.net/jacke121/article/details/79874555
train loss 不斷下降，test loss不斷下降，說明網絡仍在學習;
train loss 不斷下降，test loss趨於不變，說明網絡過擬合;
train loss 趨於不變，test loss不斷下降，說明數據集100%有問題;
train loss 趨於不變，test loss趨於不變，說明學習遇到瓶頸，需要減小學習率或改變批量數目; (batch=50, lr=0.001改成100和0.0001)
train loss 不斷上升，test loss不斷上升，說明網絡結構設計不當，訓練超參數設置不當，數據集經過清洗等問題。
DEBUG---https://blog.csdn.net/u010848594/article/details/80576119
神經網絡具有兩大能力：一、學習能力，指在訓練集上精度。二、泛化能力，指在測試集上精度。
對於一個大型神經網絡在一個大數據集上跑，LOSS持續不降，第一步先減小數據量，比方說只在單張圖片上跑，使用小epochsize，觀察每次LOSS下降情況，此時如果LOSS還是不下降說明網絡沒有學習能力，應該調整模型，一般是先把網絡規模縮小，因為任何一個網絡都會有學習能力，然而此時你的網絡沒有學習能力，則一定是你的模型有地方出錯，而神經網絡又是個黑盒，你只能摘除一部分網絡，以排除“壞的”部分。此時網絡的規模小了，又在一個相對較小的數據集上跑，必然會有個很好的學習能力。此時可以不斷增加網絡部件，來提高學習能力。接下來是在保證網絡具有學習能力的基礎上進行的，是使得網絡具有泛化能力，可以通過擴大網絡規模，與此同時增大數據量，可以使得網絡具有很好的泛化能力。
---------------------