Dropout層作用:


組隊比賽兩個人都以為對方不行,所以都很努力的做任務。快交稿時,交流進展,就變成強強聯手啦~~

methods:When training,以概率p 暫時 丟棄,
∴每次訓練不同的網絡(防止過擬合)
∵有些樣本不好呀

在訓練時,隨機失活隨機選擇一部分神經元,使其置零,不參與本次優化迭代。
隨機失活減少了每次參與優化迭代的神經元數目,使網絡的有效大小變小。
  隨機失活的作用有兩點。
  1. 降低神經元之間耦合。因為神經元會被隨機置零,所以每個神經元不能依賴於其他神經元,這會迫使每個神經元自身要能提取到合適的特征
  2. 網絡集成。隨機失活可以看作在訓練時每次迭代定義出一個新的網絡,這些網絡共享權值。在測試時的網絡是這些網絡的集成。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM