自监督学习 自监督学习 Self Supervised Learning 是一种介于无监督和监督学习之间的一种新范式，旨在减少深度网络对大量注释数据的需求。大量的人工标注的样本是费时耗力的。 它通过定义无注释 annotation free 的前置任务 pretext task ，为特征学习提供代理监督信号。 pretext task 在预训练阶段，使用伪标记当作标签进行网络权重训练。因此在自监督 ...
2020-07-14 08:43 0 602 推荐指数：
标签: 自监督、 图神经 动机 首先, 由于很难改变 GCNs 固有的浅层结构, 如何设计一种基于 GCNs 的一致高效的训练算法来提高其在标签节点较少的图上的泛化性能？ 其次, 如何利用基于大量未标记数据的自监督学习方法的优势, 来提高所提出的训练算法的性能？ 贡献 ...
自监督学习(Self-Supervised Learning)多篇论文解读（上） 前言 Supervised deep learning由于需要大量标注信息，同时之前大量的研究已经解决了许多问题。所以近期大家的研究关注点逐渐转向了Unsupervised learning，许多顶 ...
自监督学习(Self-Supervised Learning)多篇论文解读（下） 之前的研究思路主要是设计各种各样的pretext任务，比如patch相对位置预测、旋转预测、灰度图片上色、视频帧排序等等。CVPR19和ICCV19上，Google Brain的几个研究员发表了两篇论文 ...
Contrastive Self-Supervised Learning 2020-01-30 10:32:24 Source: https://ankeshanand.com/blog/2020/01/26 ...
1、定义： 自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。（也就是说自监督学习的监督信息不是人工标注的，而是算法在大规模无监督数据中自动构造监督信息，来进行监督学习或训练 ...
Self-Supervised Learning with Swin Transformers 2021-05-11 20:32:02 Paper: https://arxiv.org/pdf/2105.04553.pdf Code: https://github.com ...
论文标题：Bootstrap Your Own Latent A New Approach to Self-Supervised Learning 论文方向：图像领域 论文来源：NIPS2020 论文链接：https://arxiv.org/abs/2006.07733 论文代码 ...
Bootstrap Your Own Latent A New Approach to Self-Supervised Learning Intro 文章提出一种不需要负样本来做自监督学习的方法，提出交替更新假说解释EMA方式更新target network防止collapse的原因 ...
