上一章我们聊了聊quick thought通过干掉decoder加快训练, CNN LSTM用CNN作为Encoder并行计算来提速等方法，这一章看看抛开CNN和RNN，transformer是如何只基于attention对不定长的序列信息进行提取的。虽然Attention is All you need论文本身是针对NMT翻译任务的,但transformer作为后续USE Bert的重要组件，放 ...
2021-02-08 08:15 0 570 推荐指数：
word2vec是google 2013年提出的，从大规模语料中训练词向量的模型，在许多场景中都有应用，信息提取相似度计算等等。也是从word2vec开始，embedding在各个领域的应用开始流行，所以拿word2vec来作为开篇再合适不过了。本文希望可以较全面的给出Word2vec从模型结构 ...
Fasttext是FaceBook开源的文本分类和词向量训练库。最初看其他教程看的我十分迷惑，咋的一会ngram是字符一会ngram又变成了单词，最后发现其实是两个模型，一个是文本分类模型[Ref2]，表现不是最好的但胜在结构简单高效，另一个用于词向量训练[Ref1]，创新在于把单词分解成字符结构 ...
Transformer 论文全名：Attention Is All You Need transformer模型主要解决翻译问题，而且倾向于逐词翻译。由于翻译时需要考虑到至少两方面信息：单词的意思，单词在句子中的位置。所以embedding过程也是针对这两方面信息 ...
在4/5章我们讨论过用skip-thought，quick-thought任务来进行通用文本向量提取，当时就有一个疑问为什么用Bookcorpus这种连续文本，通过预测前一个和后一个句子的方式得到的文 ...
这一节我们来聊聊不定长的文本向量，这里我们暂不考虑有监督模型，也就是任务相关的句子表征，只看通用文本向量，根据文本长短有叫sentence2vec, paragraph2vec也有叫doc2vec的。这类通用文本embedding的应用场景有很多，比如计算文本相似度用于内容召回, 用于聚类给文章 ...
的句子向量。魔改后的实现可以看这里( ´▽｀) github-DSXiangLi-Embedding-sk ...
Pytorch Transformer 中 Position Embedding 的实现 The Positional Encoding part in Transformer is a special part, it isn't part of the network module ...
2013年----word Embedding 2017年----Transformer 2018年----ELMo、Transformer-decoder、GPT-1、BERT 2019年----Transformer-XL、XLNet、GPT-2 2020年----GPT-3 ...
