RNN（Recurrent Neural Networks，循环神经网络）是一种具有短期记忆能力的神经网络模型，可以处理任意长度的序列，在自然语言处理中的应用非常广泛，比如机器翻译、文本生成、问答系统 ...

RNN模型由于具有短期记忆功能，因此天然就比较适合处理自然语言等序列问题，尤其是引入门控机制后，能够解决长期依赖问题，捕获输入样本之间的长距离联系。本文的模型是堆叠两层的LSTM和GRU模型，模型的结 ...

看了一些LSTM的博客，都推荐看colah写的博客《Understanding LSTM Networks》 来学习LSTM，我也找来看了，写得还是比较好懂的，它把LSTM的工作流程从输入到输出整个撸 ...

一、为什么选择序列模型 序列模型可以用于很多领域，如语音识别，撰写文章等等。总之很多优点。。。 二、数学符号 为了后面方便说明，先将会用到的数学符号进行介绍。 以下图为例，假如我们需要定位一句 ...

门控循环单元（GRU） 循环神经网络中的梯度计算方法。当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因 ...

在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。 相关信息和当前预测位置之间的 ...

update gate $z_t$: defines how much of the previous memory to keep around.　　 \[z_t = \sigma ( ...