一、状态和模型 在CNN网络中的训练样本的数据为IID数据（独立同分布数据），所解决的问题也是分类问题或者回归问题或者是特征表达问题。但更多的数据是不满足IID的，如语言翻译，自动文本生成。它们是一个序列问题，包括时间序列和空间序列。这时就要用到RNN网络，RNN的结构图如下所示 ...

人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思 ...

前言 好久没用正儿八经地写博客了，csdn居然也有了markdown的编辑器了，最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。 RNN最近做出 ...

目录 网络流量预测入门（一）之RNN 介绍 RNN简介 RNN 结构 RNN原理 结构原理 损失函数$E$ 反向传播 总结 参考 ...

本博客适合那些BP网络很熟悉的读者 一 基本结构和前向传播 符号解释： 1. $c_{t}^{l}$：t时刻第l层的神经元的集合，因为$c_{t}^{l}$表示的是一层隐藏层，所以图中一个圆 ...

写在最前面，感谢这两篇文章，基本上的框架是从这两篇文章中得到的： https://zhuanlan.zhihu.com/p/28687529 https://zhuanlan.zhihu.com/ ...

RNN是一个很有意思的模型。早在20年前就有学者发现了它强大的时序记忆能力，另外学术界以证实RNN模型属于Turning-Complete，即理论上可以模拟任何函数。但实际运作上，一开始由于vanishing and exploiting gradient问题导致BPTT算法学习不了长期记忆 ...

循环神经⽹络是为更好地处理时序信息而设计的。它引⼊状态变量来存储过去的信息，并⽤其与当前的输⼊共同决定当前的输出。循环神经⽹络常⽤于处理序列数据，如⼀段⽂字或声⾳、购物或观影的顺序，甚⾄是 ...