之前在几篇博客中说到了权重共享，但都觉得不够全面，这里做个专题，以后有新的理解都在此更新。 1. 减少运算只是锦上添花 之前说到权重共享可以减少运算，是的，但这样说好像是可有可无，只是运算量大小的问题，其实不是可有可无的。 2. 权重共享的本质是特征提取 之前说到权重就是模板 ...

RNN简介   循环神经网络的主要用途是处理和预测序列数据。 RNN的网络结构 1、循环神经网络的经典结构   从网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面节点的输出。   参数共享思想：由于模块A中的运算和变量在不同时刻是相同的，因此循环神经网络理论上可以看作 ...

目录 1. 为什么需要RNN 2. LSTM的结构 3. LSTM网络 4. RNN 的评估 5. RNN的应用 6. Attention-based model 1. 为什么需要RNN？ 传统的神经网络，一个输入会对应一个输出，如果输入不变，那输出也不会变。如下，一个 ...

基本选择器中标签选择器权重为1,class选择器权重为10,id选择器权重100,通配符选择器*的权重为0-1 后代、子代、交集、并集、相邻兄弟、兄弟的权重为每个单独的选择器的权重相加之和 css权重和基本规则权重记忆口诀:从0开始,一个行内样式+1000,一个id+100,一个属性选择器 ...

原文地址：http://www.keraschina.com/keras_rnn/ 一、RNN网络结构及原理讲解 RNN的网络结构如下图： Xi代表输入第i时刻输入，hi代表第i时刻记忆，yi代表第i时刻输出，U，V，W为相应权重矩阵。 图中左侧是未展开RNN模型，在模型中间 ...

背景 神经网络，卷积神经网络等其他深度学习算法，都有个局限性，各个输入在算法内部是相对独立的。比如：‘星际争霸有意思，我爱玩’这句话，是有上下文关系的。 如果放在其他网络里面，各个分词将会独立处理。但是在rnn里面，可以将上文记忆下来，做为下文的运算基础。 总之：rnn适合用来解决具有上下文 ...

一、状态和模型 在CNN网络中的训练样本的数据为IID数据（独立同分布数据），所解决的问题也是分类问题或者回归问题或者是特征表达问题。但更多的数据是不满足IID的，如语言翻译，自动文本生成。它们是一个序列问题，包括时间序列和空间序列。这时就要用到RNN网络，RNN的结构图如下所示 ...

多层双向GRU 参考：博客 RNN在使用过程中会出现梯度爆炸 (exploding gradients) 和梯度消失 (vanishing gradients) 两种问题: 梯度爆炸 这个问题通常出现在深度神经网络中 (多层网络)，当使用梯度回传时，梯度可能会爆炸。这个问题可以使 ...