組隊比賽兩個人都以為對方不行,所以都很努力的做任務。快交稿時,交流進展,就變成強強聯手啦~~
methods:When training,以概率p 暫時 丟棄,
∴每次訓練不同的網絡(防止過擬合)
∵有些樣本不好呀
在訓練時,隨機失活隨機選擇一部分神經元,使其置零,不參與本次優化迭代。
隨機失活減少了每次參與優化迭代的神經元數目,使網絡的有效大小變小。
隨機失活的作用有兩點。
1. 降低神經元之間耦合。因為神經元會被隨機置零,所以每個神經元不能依賴於其他神經元,這會迫使每個神經元自身要能提取到合適的特征。
2. 網絡集成。隨機失活可以看作在訓練時每次迭代定義出一個新的網絡,這些網絡共享權值。在測試時的網絡是這些網絡的集成。