LayoutLM: Pre training of Text and Layout for Document Image Understanding 摘要 预训练技术已经在最近几年的NLP几类任务上取得成功。尽管NLP应用的预训练模型被广泛使用，但它们几乎只关注于文本级别的操作，而忽略了对文档图像理解至关重要的布局和样式信息。在本文中，跨扫描文档图像的文本和布局信息之间的交互，我们提出了Layou ...
2020-06-19 11:53 0 1435 推荐指数：
目录 研究背景 论文思路 实现方式细节 实验结果 附件 专业术语列表 一、研究背景 1.1 涉及领域，前人工作等 本文主要涉及NLP的一种语言模型，之前已经出现了【1】ELMo和【2】GPT这些较为强大的模型，ELMo 的特征提取器不是很先进，GPT ...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 摘要 我们引入了一个新的叫做bert的语言表示模型，它用transformer的双向编码器表示。与最近的语言表示模型不同，BERT ...
摘要： 提出了一个新的语言表示模型(language representation), BERT: Bidirectional Encoder Representations from Transf ...
key value 名称 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鸣 单位 ...
概述： UniLM是微软研究院在Bert的基础上，最新产出的预训练语言模型，被称为统一预训练语言模型。它可以完成单向、序列到序列和双向预测任务，可以说是结合了AR和AE两种语言模型的优点，Uni ...
Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks 边看边写的。写晕乎了。。 摘要： 当前视觉语言任务常用 大规模预训练模型+多模态表示（这里指image-text pair）。他们结合的比较暴力 ...
Logistic回归、传统多层神经网络 1.1 线性回归、线性神经网络、Logistic/Softmax回归 线性回归是用于数据拟合的常规手段，其任务是优化目标函数：$h(\theta )=\th ...
