概述 word embedding 是现在自然语言处理中最常用的 word representation 的方法，常用的word embedding 是word vec的方法，然而word vec本质上是一个静态模型，也就是说利用word vec训练完每个词之后，词的表示就固定了，之后使用的时候，无论新句子上下文的信息是什么，这个词的word embedding 都不会跟随上下文的场景发生变化， ...
2018-12-04 10:18 1 4084 推荐指数：
Abstract We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (eg, syntax ...
承接上一篇博客。该论文思路清晰，实验充分，这里大致写一些比较不错的idea。从标题就能看出本文的主要贡献：轻量、鲁棒。利用一个轻量CNN从大规模数据且含大量噪声中来学习一个深度面部表征。 直接谈谈贡献 ...
预训练 先在某个任务（训练集A或者B）进行预先训练，即先在这个任务（训练集A或者B）学习网络参数，然后存起来以备后用。当我们在面临第三个任务时，网络可以采取相同的结构，在较浅的几层，网络参数可以直接 ...
Deep High-Resolution Representation Learning for Human Pose Estimation 2019-08-30 22:05:59 Paper: CVPR-2019, arXiv Code: https://github.com ...
目录 简介 预训练任务简介 自回归语言模型 自编码语言模型 预训练模型的简介与对比 ELMo 细节 ELMo的下游使用 GPT/GPT2 ...
Distributed Representation 这种表示，它最早是 Hinton 于 1986 年提出的，可以克服 one-hot representation 的缺点。 其基本想法是： 通过训练将某种语言中的每一个词映射成一个固定长度的短向量 ...
论文解读 论文标题：Deep Graph Contrastive Representation Learning论文作者：Yanqiao Zhu, Yichen Xu, Feng Yu, Q. Liu, Shu Wu, Liang Wang论文来源：2020, ArXiv论文地址 ...
1 大纲概述 文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 ...
