過擬合，在Tom M.Mitchell的《Machine Learning》中是如何定義的：給定一個假設空間H，一個假設h屬於H，如果存在其他的假設h’屬於H,使得在訓練樣例上h的錯誤率比h’小，但在整個實例分布上h’比h的錯誤率小，那么就說假設h過度擬合訓練數據。
也就是說，某一假設過度的擬合了訓練數據，對於和訓練數據的分布稍有不同的數據，錯誤率就會加大。這一般會出現在訓練數據集比較小的情況。
深度學習中避免過擬合的方法：
- Dropout
2012年ImageNet比賽的獲勝模型AlexNet論文中提出的避免過擬合的方法。其操作方法如下圖所示。
-
- 在訓練中以概率P(一般為50%)關掉一部分神經元，如圖中的虛線的箭頭。那么對於某些輸出，並不是所有神經元會參與到前向和反向傳播中。
- 在預測的時候，將使用所有的神經元，但是會將其輸出乘以0.5
Dropout的意義在於，減小了不同神經元的依賴度。有些中間輸出，在給定的訓練集上，可能發生只依賴某些神經元的情況，這就會造成對訓練集的過擬合。而隨機關掉一些神經元，可以讓更多神經元參與到最終的輸出當中。我覺得dropout方法也可以看成，聯合很多規模比較小的網絡的預測結果，去獲取最終的預測。
- Batch Normalization