摘要： 提出了一个新的语言表示模型 language representation , BERT: Bidirectional Encoder Representations from Transformers。不同于以往提出的语言表示模型，它在每一层的每个位置都能利用其左右两侧的信息用于学习，因此，它具有强大的表示能力，所以，BERT在预训练之后，只需要加一个简单的输出层，并在新结构上fine ...
2019-07-16 23:02 0 771 推荐指数：
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 摘要 我们引入了一个新的叫做bert的语言表示模型，它用transformer的双向编码器表示。与最近的语言表示模型不同，BERT ...
目录 研究背景 论文思路 实现方式细节 实验结果 附件 专业术语列表 一、研究背景 1.1 涉及领域，前人工作等 本文主要涉及NLP的一种语言模型，之前已经 ...
概述： UniLM是微软研究院在Bert的基础上，最新产出的预训练语言模型，被称为统一预训练语言模型。它可以完成单向、序列到序列和双向预测任务，可以说是结合了AR和AE两种语言模型的优点，Unilm在抽象摘要、生成式问题回答和语言生成数据集的抽样领域取得了最优秀的成绩。 一、AR与AE ...
key value 名称 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鸣 单位 ...
LayoutLM: Pre-training of Text and Layout for Document Image Understanding 摘要 预训练技术已经在最近几年的NLP几类任务上取得成功。尽管NLP应用的预训练模型被广泛使用，但它们几乎只关注于文本级别的操作，而忽略 ...
任务和语言推理，无需针对具体任务做大幅架构修改。 一、BERT是如何进行预训练 pre-trainin ...
Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks 边看边写的。写晕乎了。。 摘要： 当前视觉语言任务常用 大规模预训练模型+多模态表示（这里指image-text pair）。他们结合的比较暴力 ...
