什么是dropout?
在機器學習的模型中,如果模型的參數太多,而訓練樣本又太少,訓練出來的模型很容易產生過擬合的現象。在訓練神經網絡的時候經常會遇到過擬合的問題,過擬合具體表現在:模型在訓練數據上損失函數較小,預測准確率較高;但是在測試數據上損失函數比較大,預測准確率較低。深度學習中在代碼中經常碰到的dropout函數是指我們在訓練神經網絡的過程中,隨機丟棄一部分神經網絡單元,只是暫時移除訓練過程。即在前向傳播的時候,讓某個神經元的激活值以一定的概率p停止工作,這樣可以使模型泛化性更強,因為它不會太依賴某些局部的特征
相當於以一定的概率減少訓練過程中神經網絡的數量,從而也使得訓練的負荷減少,提高訓練的速度
dropout的作用
有效的防止過擬合,大型的神經網絡在小的數據集上訓練時會導致過擬合
詳細解釋參考:http://pan.baidu.com/s/1c0Ri2Py
https://www.cnblogs.com/liaohuiqiang/p/9194699.html