1、根據神經網絡建立模型的復雜度和數據模型真正復雜度之間的相對大小，其主要存在三種情況：
(1)欠擬合:underfitting
(2)相對准確
(3)過擬合：overfitting
圖
2、一般情況下在不知數據模型復雜度的情況下，很容易出現建立模型過擬合的情況，這是因為原始數據中本身存在一些噪聲數據，而這些噪聲數據會使得所建立模型對於loss函數進行過度尋優，從而極易出現過擬合的情況。
3、對於模型的過擬合，主要有兩個方面：
(1)如何檢測？
(2)如何減少和改善？
4、對於過擬合的檢測，可以使用交叉驗證的方式，將其數據集分為三部分：訓練數據集，驗證數據集和測試數據集，從而達到較好的檢測和確定
5、對於防止過擬合情況的出現和過擬合現象的改善和減少方法主要有以下方法：
(1)regularization方式(L1/L2)
(2)momentium：添加動量(主要是指梯度)
(3)learning rate decay(學習率衰減方式1/2)
(4)earlystopping
(5)dropout
(6)SGD:隨機梯度下降法
