1. 度量(Metric)
在數學中,一個度量(或距離函數)是一個定義集合中元素之間"距離"的函數.
一個具有度量的集合可以稱之為度量空間.
2.度量學習的作用
Metric Learning可以通俗的理解為相似度學習.
以樣本間的歐氏距離為例:K-means中進行聚類時用到了歐式距離來度量樣本到中心點的距離;KNN算法也用到了歐氏距離等.這里計算的度量,就是在比較樣本點和中心點的相似度.
3.度量學習類別
從廣義上可以將度量學習分為:(1)通過線性變換的度量學習和非線性模型的度量學習.
1)線性變換的度量學習
線性度量學習問題也稱為馬氏度量學習問題,又可以分為監督學習和非監督學習兩類.
3.1.1監督的全局度量學習
- Information-theoretic metric learning(ITML)
- Mahalanobis Metric Learning for Clustering(MMC)
- Maximally Collapsing Metric Learning (MCML)
3.1.2監督的局部度量學習
- Neighbourhood Components Analysis (NCA)
- Large-Margin Nearest Neighbors (LMNN)
- Relevant Component Analysis(RCA)
- Local Linear Discriminative Analysis(Local LDA)
3.1.3非監督的度量學習
- 主成分分析(Pricipal Components Analysis, PCA)
- 多維尺度變換(Multi-dimensional Scaling, MDS)
- 非負矩陣分解(Non-negative Matrix Factorization,NMF)
- 獨立成分分析(Independent components analysis, ICA)
- 鄰域保持嵌入(Neighborhood Preserving Embedding,NPE)
- 局部保留投影(Locality Preserving Projections. LPP)
2)非線性模型
非線性降維算法可以看作屬於非線性度量學習：
- 等距映射(Isometric Mapping,ISOMAP)
- 局部線性嵌入(Locally Linear Embedding, LLE)
- 拉普拉斯特征映射(Laplacian Eigenmap，LE )
通過核方法來對線性映射進行擴展：
- Non-Mahalanobis Local Distance Functions
- Mahalanobis Local Distance Functions
- Metric Learning with Neural Networks
關於度量學習的一篇經典綜述:Distance metric learning a comprehensive survey