關於自監督學習、對比學習、聚類、度量學習和預訓練的一些思考(在更新中...)
先言：閱讀數篇論文后，發覺自己基礎不牢固，心生困惑無法解決，故再查閱整理相關內容發布於此。 自監督的創新主要基於三個方面： 1.基於代理任務的自監督學習 三個階段： Prediction-based Tasks： 基於預測的自監督學習任務屬於視覺自監督學習中相對早期的工作 ...
原文：對比學習/度量學習
對比學習 度量學習 對比學習和度量學習從定義上看沒有本質的差別。 最近發現票圈被陳丹奇的simCSE刷屏了，讓筆者也深刻的認識到，現如今文本表示領域研究已經是對比學習的天下了。筆者在本文中將從對比學習的定義，損失函數以及CV和NLP領域的相關文章逐步解析對比學習。 文本表示是什么 就是一個文本x用z進行表示，通過z能夠反找到x。 對比學習的思想最早源於cv領域的研究。 對比學習是自監督學習的一種， ...
2021-06-28 08:35 1 8802 推薦指數：
相關推薦
Metric Learning——度量學習
看到一篇知乎大神Flood Sung發表在CVPR2018上的paper，介紹了一種基於metric的模式識別方法，創新之處在於它不同於常用的matric-based方法，使用人為定義的度量，像簡單的歐式距離、馬氏距離，而是采用了用神經網絡去訓練這個度量，模型雖然簡單，但是效果卻很顯著 ...
Metric Learning 度量學習
1. 度量(Metric) 在數學中,一個度量(或距離函數)是一個定義集合中元素之間"距離"的函數. 一個具有度量的集合可以稱之為度量空間. 2.度量學習的作用 Metric Learning可以通俗的理解為相似度學習. 以樣本間的歐氏距離為例:K-means中進行聚類時用到了歐式距離 ...
自適應度量學習
為什么學習距離度量？ 在機器學習中，對高維數據進行降維的主要目的是希望找到一個合適的低維空間，在此空間中進行學習能比原始空間性能更好．事實上，每個空間對應了在樣本屬性上定義的一個距離度量，而尋找合適的空間，實質上就是在尋找一個合適的距離度量．那么，為何不直接嘗試“ 學習” 出一個合適的距離度量 ...
度量學習整理筆記
深度度量學習初步整理 知乎：triplet loss 在深度學習中主要應用在什么地方？有什么明顯的優勢？ 文章鏈接 Triplet loss通常是在個體級別的細粒度識別上使用，傳統的分類是花鳥狗的大類別的識別，但是有 些需求是要精確到個體級別，比如精確到哪個人的人臉識別 ...
『度量學習』知識梳理
graph RL subgraph 0 a1[度量學習] --> |也稱為馬氏度量學習問題|b1[線性變換] a1[度量學習] --> b2[非線性變換] end subgraph 1 b1 --> c1[監督學習] c1 --> |該類型的算法充分利用數據的標簽 ...
LDA && NCA: 降維與度量學習
已遷移到我新博客,閱讀體驗更佳LDA && NCA: 降維與度量學習 代碼實現放在我的github上:click me 一、Linear Discriminant Analysis(LDA) 1.1 Rationale 線性判別分析(LDA)是一種監督學習 ...
機器學習中的度量——統計上的距離
機器學習是時下流行AI技術中一個很重要的方向，無論是有監督學習還是無監督學習都使用各種“度量”來得到不同樣本數據的差異度或者不同樣本數據的相似度。良好的“度量”可以顯著提高算法的分類或預測的准確率，本文中將介紹機器學習中各種“度量”，“度量”主要由兩種，分別為距離、相似度和相關系數 ...