Dropout函數


什么是dropout?

在機器學習的模型中,如果模型的參數太多,而訓練樣本又太少,訓練出來的模型很容易產生過擬合的現象。在訓練神經網絡的時候經常會遇到過擬合的問題,過擬合具體表現在:模型在訓練數據上損失函數較小,預測准確率較高;但是在測試數據上損失函數比較大,預測准確率較低。深度學習中在代碼中經常碰到的dropout函數是指我們在訓練神經網絡的過程中,隨機丟棄一部分神經網絡單元,只是暫時移除訓練過程。即在前向傳播的時候,讓某個神經元的激活值以一定的概率p停止工作,這樣可以使模型泛化性更強,因為它不會太依賴某些局部的特征

相當於以一定的概率減少訓練過程中神經網絡的數量,從而也使得訓練的負荷減少,提高訓練的速度

dropout的作用

有效的防止過擬合,大型的神經網絡在小的數據集上訓練時會導致過擬合

 

 

詳細解釋參考:http://pan.baidu.com/s/1c0Ri2Py

                         https://www.cnblogs.com/liaohuiqiang/p/9194699.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM