自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT）
自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT） 最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将最近看的一些相关论文进行总结，选取了几个代表性模型（包括ELMo [1]，OpenAI GPT ...
花费 10 ms
word2vec 中的数学原理详解
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas ...
3. ELMo算法原理解析
1. 语言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BERT算法原理解析 6. 从Encoder-Decoder(Seq2Seq)理解Attention ...
5. BERT算法原理解析
1. 语言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BERT算法原理解析 6. 从Encoder-Decoder(Seq2Seq)理解Attention ...
4. OpenAI GPT算法原理解析
1. 语言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BERT算法原理解析 6. 从Encoder-Decoder(Seq2Seq)理解Attention ...
1. 语言模型
1. 语言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BERT算法原理解析 6. 从Encoder-Decoder(Seq2Seq)理解Attention ...
用CNTK搞深度学习 （二） 训练基于RNN的自然语言模型 ( language model )
前一篇文章 用 CNTK 搞深度学习 （一） 入门 介绍了用CNTK构建简单前向神经网络的例子。现在假设读者已经懂得了使用CNTK的基本方法。现在我们做一个稍微复杂一点，也是自然语言挖掘中很火的一个模型： 用递归神经网络构建一个语言模型。 递归神经网络 （RNN），用图形化的表示则是隐层 ...
语言模型系列（一）——AWD-LSTM
1，概述 语言模型可以说是NLP中最基本的任务，无论是词向量，预训练模型，文本生成等任务中都带有语言模型的影子。语言模型本质上是对一个自然世界中存在的句子建模，描述一个句子发生的概率，因此语言模型也是一个自回归的任务。语言模型是一个上下文强依赖的任务，不仅需要捕获长距离的信息，还需要学到词 ...
文本表示
1、为什么需要文本表示 文字是人类认知过程中产生的高层认知抽象实体，我们需要将其转换为神经网络可以处理的数据类型。 2、文本表示的形式 类比于语音图像，我们希望可以将文字或单词转换为向量。 3 ...
使用SRILM训练大的语言模型
使用SRILM这个工具编写语言模型工具的问题就是内存不怎么够。。。，内存最多就3G，还在跑另外的一个程序，所以想要一次训练完是不可能的，在http://www-speech.sri.com/projects/srilm/manpages/srilm-faq.7.html给出了一个解决的办法 ...