在RNN中使用Dropout

dropout在前向神經網絡中效果很好，但是不能直接用於RNN，因為RNN中的循環會放大噪聲，擾亂它自己的學習。那么如何讓它適用於RNN，就是只將它應用於一些特定的RNN連接上。

 

LSTM的長期記憶是存在memory cell中的。

 

The LSTM can decide to overwrite the memory cell, retrieve it, or keep it for the next time step.

 

 

主要思想：

將dropout用於非循環的連接。即上下層連接的時候。