本篇带来XL-Net和它的基础结构Transformer-XL。在讲解XL-Net之前需要先了解Transformer-XL，Transformer-XL不属于预训练模型范畴，而是Transformer的扩展版，旨在解决Transformer的捕获长距离依赖信息的上限问题。接下来我们详细的介绍 ...

1. 语言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BERT算法原理解析 6. 从Encoder-Decoder(Seq2Seq)理解Attention ...

参考： https://mp.weixin.qq.com/s/NvwB9H71JUivFyL_Or_ENA http://yangminz.coding.me/blog/post/MinkolovRNNLM/MinkolovRNNLM_thesis.html 语言模型本质上是在回答一个 ...

说到自然语言，我就会想到朴素贝叶斯，贝叶斯核心就是条件概率，而且大多数自然语言处理的思想也就是条件概率。 所以我用预测一个句子出现的概率为例，阐述一下自然语言处理的思想。 统计语言模型-概率 句子，就是单词的序列，句子出现的概率就是这个序列出现的概率 可以想象上面这个式子计算量 ...

语言模型的基本概念 本文介绍一下有关语言模型的基本概念，但是在介绍语言模型之前，先简单回顾一下自然语言处理这个大问题吧。现在自然语言处理的研究绝对是一个非常火热的方向，主要是被当前的互联网发展所带动起来的。在互联网上充斥着大量的信息，主要是文字方面的信息，对这些信息的处理离不开 ...

目录: 一基本训练 二语言模型打分 三语言模型剪枝 四语言模型合并 五语言模型使用词典限制 一、基本训练 有两种训练方法，分别如下： #choice1: text->count->lm #ngram-count -text $text -vocab ...

语言模型发展综述 摘要 语言模型（language model）是自然语言处理中非常基础且重要的问题。本文首先介绍了语言模型的定义及其应用场景，接着说明了语言模型的发展历史，本文将语言模型分为统计语言模型和神经网络语言模型两个大阶段，对各个阶段中出现的语言模型的特点、数学原理、对之前模型的改进 ...

1. 语言模型 2. RNN LSTM语言模型 (梯度权重) （1）one to one ： 图像分类 （2）one to many：图片描述 （3）many to one：文本情感分析、分类 （4）many to many（N ...