关于自监督学习、对比学习、聚类、度量学习和预训练的一些思考(在更新中...)
先言：阅读数篇论文后，发觉自己基础不牢固，心生困惑无法解决，故再查阅整理相关内容发布于此。 自监督的创新主要基于三个方面： 1.基于代理任务的自监督学习 三个阶段： Prediction-based Tasks： 基于预测的自监督学习任务属于视觉自监督学习中相对早期的工作 ...
原文：对比学习/度量学习
对比学习 度量学习 对比学习和度量学习从定义上看没有本质的差别。 最近发现票圈被陈丹奇的simCSE刷屏了，让笔者也深刻的认识到，现如今文本表示领域研究已经是对比学习的天下了。笔者在本文中将从对比学习的定义，损失函数以及CV和NLP领域的相关文章逐步解析对比学习。 文本表示是什么 就是一个文本x用z进行表示，通过z能够反找到x。 对比学习的思想最早源于cv领域的研究。 对比学习是自监督学习的一种， ...
2021-06-28 08:35 1 8802 推荐指数：
相关推荐
Metric Learning——度量学习
看到一篇知乎大神Flood Sung发表在CVPR2018上的paper，介绍了一种基于metric的模式识别方法，创新之处在于它不同于常用的matric-based方法，使用人为定义的度量，像简单的欧式距离、马氏距离，而是采用了用神经网络去训练这个度量，模型虽然简单，但是效果却很显著 ...
Metric Learning 度量学习
1. 度量(Metric) 在数学中,一个度量(或距离函数)是一个定义集合中元素之间"距离"的函数. 一个具有度量的集合可以称之为度量空间. 2.度量学习的作用 Metric Learning可以通俗的理解为相似度学习. 以样本间的欧氏距离为例:K-means中进行聚类时用到了欧式距离 ...
自适应度量学习
为什么学习距离度量？ 在机器学习中，对高维数据进行降维的主要目的是希望找到一个合适的低维空间，在此空间中进行学习能比原始空间性能更好．事实上，每个空间对应了在样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一个合适的距离度量．那么，为何不直接尝试“ 学习” 出一个合适的距离度量 ...
度量学习整理笔记
深度度量学习初步整理 知乎：triplet loss 在深度学习中主要应用在什么地方？有什么明显的优势？ 文章链接 Triplet loss通常是在个体级别的细粒度识别上使用，传统的分类是花鸟狗的大类别的识别，但是有 些需求是要精确到个体级别，比如精确到哪个人的人脸识别 ...
『度量学习』知识梳理
graph RL subgraph 0 a1[度量学习] --> |也称为马氏度量学习问题|b1[线性变换] a1[度量学习] --> b2[非线性变换] end subgraph 1 b1 --> c1[监督学习] c1 --> |该类型的算法充分利用数据的标签 ...
LDA && NCA: 降维与度量学习
已迁移到我新博客,阅读体验更佳LDA && NCA: 降维与度量学习 代码实现放在我的github上:click me 一、Linear Discriminant Analysis(LDA) 1.1 Rationale 线性判别分析(LDA)是一种监督学习 ...
机器学习中的度量——统计上的距离
机器学习是时下流行AI技术中一个很重要的方向，无论是有监督学习还是无监督学习都使用各种“度量”来得到不同样本数据的差异度或者不同样本数据的相似度。良好的“度量”可以显著提高算法的分类或预测的准确率，本文中将介绍机器学习中各种“度量”，“度量”主要由两种，分别为距离、相似度和相关系数 ...