目录 正题：理论部分 引入公式 ：基础的公式 引入公式 ：基础的公式 SPL 引入公式 ：基础的公式 SPL 变体 hard 正题：部分代码架构 完整可运行代码 见参考 SPL LOSS 部分 train部分 起因：最近在看CL curriculum learning 相关的文章，然后发现了SPL学习策略，简单来说就是让model学习的数据从简单到容易. 看SPL相关的文章必然跳不过这篇文章：S ...
2021-12-03 11:11 0 1522 推荐指数：
向多专家学习:用于长尾分类的自定步长知识提炼 目录 向多专家学习:用于长尾分类的自定步长知识提炼 Introduction Related Work ...
论文标题：Bootstrap Your Own Latent A New Approach to Self-Supervised Learning 论文方向：图像领域 论文来源：NIPS2020 论文链接：https://arxiv.org/abs/2006.07733 论文代码 ...
Bootstrap Your Own Latent A New Approach to Self-Supervised Learning Intro 文章提出一种不需要负样本来做自监督学习的方法，提出交替更新假说解释EMA方式更新target network防止collapse的原因 ...
实现细节; 1.embedding 层 2.positional encoding层:添加位置信息 3,MultiHeadAttention层:encoder的self attention 4,sublayerConnection层：add&norm，使用 ...
torch.multinomial(input,num_samples,replacement=False, out=None) input 是一个张量，每一行的元素为非负 ...
Tensor是Pytorch的一个完美组件(可以生成高维数组)，但是要构建神经网络还是远远不够的，我们需要能够计算图的Tensor，那就是Variable。Variable是对Tensor的一个封装，操作和Tensor是一样的，但是每个Variable都有三个属性，Varibale的Tensor ...
首先在变量的操作上：Tensor对象支持在原对象内存区域上修改数据，通过“+=”或者torch.add()方法而Variable不支持在原对象内存区域上修改数据Variable对象可求梯度，并且对Variable对象的操作，操作会被记录,可通过grad_fn属性查看上一次的操作，可通过data属性 ...
