RNN（Recurrent Neural Networks，循環神經網絡）是一種具有短期記憶能力的神經網絡模型，可以處理任意長度的序列，在自然語言處理中的應用非常廣泛，比如機器翻譯、文本生成、問答系統 ...

RNN模型由於具有短期記憶功能，因此天然就比較適合處理自然語言等序列問題，尤其是引入門控機制后，能夠解決長期依賴問題，捕獲輸入樣本之間的長距離聯系。本文的模型是堆疊兩層的LSTM和GRU模型，模型的結 ...

看了一些LSTM的博客，都推薦看colah寫的博客《Understanding LSTM Networks》 來學習LSTM，我也找來看了，寫得還是比較好懂的，它把LSTM的工作流程從輸入到輸出整個擼 ...

一、為什么選擇序列模型 序列模型可以用於很多領域，如語音識別，撰寫文章等等。總之很多優點。。。 二、數學符號 為了后面方便說明，先將會用到的數學符號進行介紹。 以下圖為例，假如我們需要定位一句 ...

門控循環單元（GRU） 循環神經網絡中的梯度計算方法。當時間步數較大或者時間步較小時，循環神經網絡的梯度較容易出現衰減或爆炸。雖然裁剪梯度可以應對梯度爆炸，但無法解決梯度衰減的問題。通常由於這個原因 ...

在你閱讀這篇文章時候，你都是基於自己已經擁有的對先前所見詞的理解來推斷當前詞的真實含義。我們不會將所有的東西都全部丟棄，然后用空白的大腦進行思考。我們的思想擁有持久性。 相關信息和當前預測位置之間的 ...

update gate $z_t$: defines how much of the previous memory to keep around.　　 \[z_t = \sigma ( ...