本节将利用LSTM模型对莎士比亚文集进行训练后实现文本生成。 相关数据下载地址：https://storage.googleapis.com/download.tensorflow.org/data/shakespeare.txt，下载后保存在当前目录下并命名为“shakespeare.txt ...

一、概述 1.主题：整个文本将基于《安娜卡列妮娜》这本书的英文文本作为LSTM模型的训练数据，输入为单个字符，通过学习整个英文文档的字符（包括字母和标点符号等）来进行文本生成。 2.单词层级和字符层级的区别： 1、基于字符的语言模型的好处在于处理任何单词，标点和其他文档结构时仅需要很小 ...

在时间序列预测的例子中，数据的时间步长为1，是有问题的。 故使用一个新的实例：用LSTM实现文本生成。 输入数据：50个单词组成一个训练样本，输出为同样长度的序列。一个多对多的模型。 数据集：莎士比亚作品。 整体描述：对莎士比亚的作品进行训练。为了测试我们的工作方式，我们将提供模型候选短语 ...

说到自然语言，我就会想到朴素贝叶斯，贝叶斯核心就是条件概率，而且大多数自然语言处理的思想也就是条件概率。 所以我用预测一个句子出现的概率为例，阐述一下自然语言处理的思想。 统计语言模型-概率 句子，就是单词的序列，句子出现的概率就是这个序列出现的概率 可以想象上面这个式子计算量 ...

1. 语言模型 2. RNN LSTM语言模型 (梯度权重) （1）one to one ： 图像分类 （2）one to many：图片描述 （3）many to one：文本情感分析、分类 （4）many to many（N ...

1，概述 　　语言模型可以说是NLP中最基本的任务，无论是词向量，预训练模型，文本生成等任务中都带有语言模型的影子。语言模型本质上是对一个自然世界中存在的句子建模，描述一个句子发生的概率，因此语言模型也是一个自回归的任务。语言模型是一个上下文强依赖的任务，不仅需要捕获长距离的信息，还需要学到词 ...

神经结构进步、GPU深度学习训练效率突破。RNN，时间序列数据有效，每个神经元通过内部组件保存输入信息。 卷积神经网络，图像分类，无法对视频每帧图像发生事情关联分析，无法利用前帧图像信息。RNN最大 ...

语言模型告诉你特定句子出现的概率是多少。 为了建立一个好的RNN模型，需要包括很大语料库的训练集。 将每个单词都转成one-hot向量，包括结尾标记和标点符号、未见单词，作为输入。 第一个时间步的输入是零向量，做一个sorftmax，输出字典里所有单词的概率。以后每一步的输入 ...