Oscar: Object Semantics Aligned Pre training for Vision Language Tasks 边看边写的。写晕乎了。。 摘要： 当前视觉语言任务常用 大规模预训练模型 多模态表示 这里指image text pair 。他们结合的比较暴力 图文简单拼接 self attention机制 ，我们的核心idea就是引入了目标识别生成的tag 作为锚点降低 ...
2021-08-17 11:00 0 275 推荐指数：
概述： UniLM是微软研究院在Bert的基础上，最新产出的预训练语言模型，被称为统一预训练语言模型。它可以完成单向、序列到序列和双向预测任务，可以说是结合了AR和AE两种语言模型的优点，Uni ...
论文笔记：Causal Attention for Vision-Language Tasks Paper: Causal Attention for Vision-Language Tasks, CVPR 2021 Code: https://github.com/yangxuntu ...
摘要： 提出了一个新的语言表示模型(language representation), BERT: Bidirectional Encoder Representations from Transformers。不同于以往提出的语言表示模型，它在每一层的每个位置都能利用其左右两侧的信息用于学习 ...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 摘要 我们引入了一个新的叫做bert的语言表示模型，它用transformer的双向编码器表示。与最近的语言表示模型不同，BERT ...
key value 名称 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鸣 单位 ...
CPT: COLORFUL PROMPT TUNING FOR PRE-TRAINED VISION-LANGUAGE MODELS 2021-09-28 11:41:22 Paper: https://arxiv.org/pdf/2109.11797.pdf Other blog ...
目录 研究背景 论文思路 实现方式细节 实验结果 附件 专业术语列表 一、研究背景 1.1 涉及领域，前人工作等 本文主要涉及NLP的一种语言模型，之前已经 ...
LayoutLM: Pre-training of Text and Layout for Document Image Understanding 摘要 预训练技术已经在最近几年的NLP几类任务上取得成功。尽管NLP应用的预训练模型被广泛使用，但它们几乎只关注于文本级别的操作，而忽略 ...
