機器學習算法 原理、實現與實踐 —— 距離的度量
聲明：本篇文章內容大部分轉載於July於CSDN的文章：從K近鄰算法、距離度量談到KD樹、SIFT+BBF算法，對內容格式與公式進行了重新整理。同時，文章中會有一些對知識點的個人理解和歸納補充，不代表原文章作者的意圖。
1. 歐氏距離
歐氏距離是最常見的兩點之間或多點之間的距離表示法，又稱之為歐幾里得度量，它定義於歐幾里得空間中，如點 $x = (x_1,\cdots,x_n)$ 和$y = (y_2,\cdots,y_n)$之間的距離為：
$$d(x,y) = \sqrt{(x_1 – y_1)^2 + (x_2-y_2)^2 + \cdots+(x_n-y_n)^2} = \sqrt{\sum_{i=1}^n(x_i-y_i)^2}$$
1）二維平面上兩點$a(x_1,y_1)$與$b(x_2,y_2)$間的歐氏距離： $$d = \sqrt{(x_1 – x_2)^2 + (y_1 – y_2)^2}$$
2）三維空間兩點$a(x_1,y_1,z_1)$與$b(x_2,y_2,z_2)$間的歐氏距離： $$d = \sqrt{(x_1 – x_2)^2 + (y_1 – y_2)^2 + (z_1 – z_2)^2}$$
3）兩個$n$維向量$a(x_{11},x_{12},\cdots,x_{1n})$與 $b(x_{21},x_{22},\cdots,x_{2n})$間的歐氏距離： $$d = \sqrt{\sum_{k=1}^n(x_{1k} – x_{2k})^2}$$ 也可以用表示成向量運算的形式： $$d = \sqrt{(a-b)(a-b)^T}$$
$n$維平面上兩點歐式距離，代碼可以如下編寫：
//unixfy：計算歐氏距離 double euclideanDistance(const vector<double>& v1, const vector<double>& v2) { assert(v1.size() == v2.size()); double ret = 0.0; for (vector<double>::size_type i = 0; i != v1.size(); ++i) { ret += (v1[i] - v2[i]) * (v1[i] - v2[i]); } return sqrt(ret); }
2. 曼哈頓距離
我們可以定義曼哈頓距離的正式意義為$L_1$-距離或城市區塊距離，也就是在歐幾里得空間的固定直角坐標系上兩點所形成的線段對軸產生的投影的距離總和。
例如在平面上，坐標$(x_1,y_1)$的點$P_1$與坐標$(x_2,y_2)$的點$P_2$的曼哈頓距離為：
$$D(P_1,P_2) = |x_1-x_2| + |y_1 – y_2|$$
要注意的是，曼哈頓距離依賴座標系統的轉度，而非系統在座標軸上的平移或映射。
通俗來講，想象你在曼哈頓要從一個十字路口開車到另外一個十字路口，駕駛距離是兩點間的直線距離嗎？顯然不是，除非你能穿越大樓。而實際駕駛距離就是這個“曼哈頓距離”，此即曼哈頓距離名稱的來源， 同時，曼哈頓距離也稱為城市街區距離(City Block distance)。
1）二維平面兩點$a(x_1,y_1)$與$b(x_2,y_2)$間的曼哈頓距離$$d(a,b) = |x_1 – x_2| + |y_1- y_2|$$
2）兩個$n$維向量$a(x_{11},x_{12},\cdots,x_{1n})$與$b(x_{21},x_{22},\cdots,x_{2n})$間的曼哈頓距離$$d(a,b) = \sum_{k=1}^n|x_{1k} – x_{2k}|$$
3. 切比雪夫距離
若二個向量或二個點$p,q$，其座標分別為$(p_1,p_2,\cdots,p_i,\cdots)$及$(q_1,q_2,\cdots,q_i,\cdots)$，則兩者之間的切比雪夫距離定義如下：
$$D_{Chebyshev}(p,q) = \max_{i}(|p_i – q_i|)$$
這也等於以下$L_p$度量的極值：$\lim_{k\to \infty}\left(\sum_{i=1}^n|p_i – q_i|^k\right)^{1/k}$，因此切比雪夫距離也稱為$L_{\infty}$度量。以數學的觀點來看，切比雪夫距離是由一致范數（或稱為上確界范數）所衍生的度量，也是超凸度量的一種。
1）在平面幾何中，若二點$p$及$q$的直角坐標系坐標為$(x_1,y_1)$及$(x_2,y_2)$，則切比雪夫距離為：$D_{Chess} = \max(|x_2 – x_1|,|y_2-y_1|)$。
玩過國際象棋的朋友或許知道，國王走一步能夠移動到相鄰的8個方格中的任意一個。那么國王從格子$(x_1,y_1)$走到格子$(x_2,y_2)$最少需要多少步？。你會發現最少步數總是$\max(|x_2 – x_1|,|y_2-y_1|)$步 。
2）二維平面上兩點$a(x_1,y_1)$與$b(x_2,y_2)$間的切比雪夫距離$$d(a,b) = \max(|x_1-x_2|,|y_1 – y_2|)$$
3）兩個$n$維向量$a(x_{11},x_{12},\cdots,x_{1n})$與 $b(x_{21},x_{22},\cdots,x_{2n})$間的切比雪夫距離$$d(a,b) = \max_{i}(|x_{1i} – x_{2i}|)$$這個公式的另一種等價形式是$$d(a,b) = \lim_{k\to\infty}\left(\sum_{i=1}^n|x_{1i} – x_{2i}|^k\right)^{1/k}$$
4. 閔可夫斯基距離(Minkowski Distance)
閔氏距離不是一種距離，而是一組距離的定義。
兩個$n$維向量$a(x_{11},x_{12},\cdots,x_{1n})$與 $b(x_{21},x_{22},\cdots,x_{2n})$間的閔可夫斯基距離定義為：
$$d(a,b) =\sqrt[p]{\sum_{k=1}^n|x_{1k} – x_{2k}|^p} $$
其中$p$是一個變參數。
當$p=1$時，就是曼哈頓距離；
當$p=2$時，就是歐氏距離；
當$p \to \infty$時，就是切比雪夫距離；
根據變參數的不同，閔氏距離可以表示一類的距離。
5. 標准化歐氏距離 (Standardized Euclidean distance )
標准化歐氏距離是針對簡單歐氏距離的缺點而作的一種改進方案。標准歐氏距離的思路：既然數據各維分量的分布不一樣，那先將各個分量都“標准化”到均值、方差相等。
假設樣本集$X$的數學期望或均值為$\mu$，標准差為$\sigma$，那么$X$的“標准化變量”$\hat{X}$表示為：$(X-\mu)/\sigma$，而且標准化變量的數學期望為0，方差為1。
即，樣本集的標准化過程(standardization)用公式描述就是：
$$\hat{X} = \frac{X - \mu}{\sigma}$$
經過簡單的推導就可以得到兩個$n$維向量$a(x_{11},x_{12},\cdots,x_{1n})$與 $b(x_{21},x_{22},\cdots,x_{2n})$間的標准化歐氏距離的公式：
$$d(a,b) = \sqrt{\sum_{k=1}^n\left(\frac{x_{1k} – x_{2k}}{\sigma_k}\right)^2}$$
如果將方差的倒數看成是一個權重，這個公式可以看成是一種加權歐氏距離(Weighted Euclidean distance)。
6. 馬氏距離(Mahalanobis Distance)
有$M$個樣本向量$X_1 \sim X_M$，協方差矩陣記為$S$，均值記為向量$\mu$，則其中樣本向量$X$到$\mu$的馬氏距離表示為：
$$D(X) = \sqrt{(X-\mu)^TS^{-1}(X-\mu)}$$
而其中向量$X_i$與$X_j$之間的馬氏距離定義為：
$$D(X_i,X_j) = \sqrt{(X_i – X_j)^TS^{-1}(X_i – X_j)}$$
若協方差矩陣是單位矩陣（各個樣本向量之間獨立同分布）,則公式就成了：
$$D(X_i,X_j) = \sqrt{(X_i – X_j)^T(X_i – X_j)}$$
也就是歐氏距離了。
若協方差矩陣是對角矩陣，公式變成了標准化歐氏距離。
馬氏距離的優缺點：量綱無關，排除變量之間的相關性的干擾。
7. 巴氏距離（Bhattacharyya Distance）
在統計中，Bhattacharyya距離測量兩個離散或連續概率分布的相似性。它與衡量兩個統計樣品或種群之間的重疊量的Bhattacharyya系數密切相關。Bhattacharyya距離和Bhattacharyya系數以20世紀30年代曾在印度統計研究所工作的一個統計學家A. Bhattacharya命名。同時，Bhattacharyya系數可以被用來確定兩個樣本被認為相對接近的，它是用來測量中的類分類的可分離性。
對於離散概率分布$p$和$q$在同一域$X$，它被定義為：
$$D_B(p,q) = –ln(BC(p,q))$$
其中：
$$BC(p,q) = \sum_{x\in X}\sqrt{p(x)q(x)}$$
是Bhattacharyya系數。
對於連續概率分布，Bhattacharyya系數被定義為：
$$BC(p,q) = \int\sqrt{p(x)q(x)}dx$$
Bhattacharyya系數是兩個統計樣本之間的重疊量的近似測量，可以被用於確定被考慮的兩個樣本的相對接近。
計算Bhattacharyya系數涉及集成的基本形式的兩個樣本的重疊的時間間隔的值的兩個樣本被分裂成一個選定的分區數，並且在每個分區中的每個樣品的成員的數量，在下面的公式中使用
$$\text{Bhattacharyya} = \sum_{i=1}^n\sqrt{(\sum a_i \cdot \sum b_i)}$$
考慮樣品$a$和$b$ ，$n$是的分區數，$\sum a_i$是指樣品$a$中落在分區$i$內的個數，$\sum b_i$有類似的定義。
8. 漢明距離(Hamming distance)，
兩個等長字符串$s_1$與$s_2$之間的漢明距離定義為將其中一個變為另外一個所需要作的最小替換次數。
例如字符串“1111”與“1001”之間的漢明距離為2。
應用：信息編碼（為了增強容錯性，應使得編碼間的最小漢明距離盡可能大）。
9. 夾角余弦(Cosine)
幾何中夾角余弦可用來衡量兩個向量方向的差異，機器學習中借用這一概念來衡量樣本向量之間的差異。
(1)在二維空間中向量$A(x_1,y_1)$與向量$B(x_2,y_2)$的夾角余弦公式：
$$cos\theta = \frac{x_1x_2+ y_1y_2}{\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}$$
(2) 兩個$n$維向量$a(x_{11},x_{12},\cdots,x_{1n})$與 $b(x_{21},x_{22},\cdots,x_{2n})$的夾角余弦
$$cos(\theta) = \frac{a\cdot b}{|a||b|}$$
類似的，對於兩個n維樣本點$a(x_{11},x_{12},\cdots,x_{1n})$與 $b(x_{21},x_{22},\cdots,x_{2n})$，可以使用類似於夾角余弦的概念來衡量它們間的相似程度，即：
$$cos(\theta) = \frac{\sum_{k=1}^nx_{1k}x_{2k}}{\sqrt{\sum_{k=1}^nx_{1k}^2}\sqrt{\sum_{k=1}^nx_{2k}^2}}$$
夾角余弦取值范圍為[-1,1]。夾角余弦越大表示兩個向量的夾角越小，夾角余弦越小表示兩向量的夾角越大。當兩個向量的方向重合時夾角余弦取最大值1，當兩個向量的方向完全相反夾角余弦取最小值-1。
10. 傑卡德相似系數(Jaccard similarity coefficient)
10.1 傑卡德相似系數
兩個集合$A$和$B$的交集元素在$A,B$的並集中所占的比例，稱為兩個集合的傑卡德相似系數，用符號$J(A,B)$表示。
$$J(A,B) = \frac{|A\cap B|}{|A\cup B|}$$
傑卡德相似系數是衡量兩個集合的相似度一種指標。
10.2 傑卡德距離
與傑卡德相似系數相反的概念是傑卡德距離(Jaccard distance)。
傑卡德距離可用如下公式表示：
傑卡德距離用兩個集合中不同元素占所有元素的比例來衡量兩個集合的區分度。
10.3 傑卡德相似系數與傑卡德距離的應用
可將傑卡德相似系數用在衡量樣本的相似度上。
舉例：樣本A與樣本B是兩個n維向量，而且所有維度的取值都是0或1，例如：A(0111)和B(1011)。我們將樣本看成是一個集合，1表示集合包含該元素，0表示集合不包含該元素。
M11 ：樣本A與B都是1的維度的個數
M01：樣本A是0，樣本B是1的維度的個數
M10：樣本A是1，樣本B是0 的維度的個數
M00：樣本A與B都是0的維度的個數
依據上文給的傑卡德相似系數及傑卡德距離的相關定義，樣本A與B的傑卡德相似系數J可以表示為：
這里M11+M01+M10可理解為A與B的並集的元素個數，而M11是A與B的交集的元素個數。而樣本A與B的傑卡德距離表示為J'：
11.皮爾遜系數(Pearson Correlation Coefficient)
在具體闡述皮爾遜相關系數之前，有必要解釋下什么是相關系數 ( Correlation coefficient )與相關距離(Correlation distance)。
相關系數 ( Correlation coefficient )的定義是：
(其中，E為數學期望或均值，D為方差，D開根號為標准差，E{ [X-E(X)] [Y-E(Y)]}稱為隨機變量X與Y的協方差，記為Cov(X,Y)，即Cov(X,Y) = E{ [X-E(X)] [Y-E(Y)]}，而兩個變量之間的協方差和標准差的商則稱為隨機變量X與Y的相關系數，記為
)
相關系數衡量隨機變量X與Y相關程度的一種方法，相關系數的取值范圍是[-1,1]。相關系數的絕對值越大，則表明X與Y相關度越高。當X與Y線性相關時，相關系數取值為1（正線性相關）或-1（負線性相關）。
具體的，如果有兩個變量：X、Y，最終計算出的相關系數的含義可以有如下理解：
當相關系數為0時，X和Y兩變量無關系。
當X的值增大（減小），Y值增大（減小），兩個變量為正相關，相關系數在0.00與1.00之間。
當X的值增大（減小），Y值減小（增大），兩個變量為負相關，相關系數在-1.00與0.00之間。
相關距離的定義是：
OK，接下來，咱們來重點了解下皮爾遜相關系數。
在統計學中，皮爾遜積矩相關系數（英語：Pearson product-moment correlation coefficient，又稱作 PPMCC或PCCs, 用r表示）用於度量兩個變量X和Y之間的相關（線性相關），其值介於-1與1之間。
通常情況下通過以下取值范圍判斷變量的相關強度：
相關系數 0.8-1.0 極強相關
0.6-0.8 強相關
0.4-0.6 中等程度相關
0.2-0.4 弱相關
0.0-0.2 極弱相關或無相關
在自然科學領域中，該系數廣泛用於度量兩個變量之間的相關程度。它是由卡爾·皮爾遜從弗朗西斯·高爾頓在19世紀80年代提出的一個相似卻又稍有不同的想法演變而來的。這個相關系數也稱作“皮爾森相關系數r”。
(1)皮爾遜系數的定義：
兩個變量之間的皮爾遜相關系數定義為兩個變量之間的協方差和標准差的商：
以上方程定義了總體相關系數, 一般表示成希臘字母ρ(rho)。基於樣本對協方差和方差進行估計，可以得到樣本標准差, 一般表示成r：
一種等價表達式的是表示成標准分的均值。基於(Xi, Yi)的樣本點，樣本皮爾遜系數是
其中
、
及 
，分別是標准分、樣本平均值和樣本標准差。
或許上面的講解令你頭腦混亂不堪，沒關系，我換一種方式講解，如下：
假設有兩個變量X、Y，那么兩變量間的皮爾遜相關系數可通過以下公式計算：
公式一：
注：勿忘了上面說過，“皮爾遜相關系數定義為兩個變量之間的協方差和標准差的商”，其中標准差的計算公式為：
公式二：
公式三：
公式四：
以上列出的四個公式等價，其中E是數學期望，cov表示協方差，N表示變量取值的個數。
(2)皮爾遜相關系數的適用范圍
當兩個變量的標准差都不為零時，相關系數才有定義，皮爾遜相關系數適用於：
兩個變量之間是線性關系，都是連續數據。
兩個變量的總體是正態分布，或接近正態的單峰分布。
兩個變量的觀測值是成對的，每對觀測值之間相互獨立。
(3)如何理解皮爾遜相關系數
rubyist：皮爾遜相關系數理解有兩個角度
其一, 按照高中數學水平來理解, 它很簡單, 可以看做將兩組數據首先做Z分數處理之后, 然后兩組數據的乘積和除以樣本數，Z分數一般代表正態分布中, 數據偏離中心點的距離.等於變量減掉平均數再除以標准差.(就是高考的標准分類似的處理)
樣本標准差則等於變量減掉平均數的平方和，再除以樣本數，最后再開方，也就是說，方差開方即為標准差，樣本標准差計算公式為：
所以, 根據這個最朴素的理解,我們可以將公式依次精簡為:
其二, 按照大學的線性數學水平來理解, 它比較復雜一點,可以看做是兩組數據的向量夾角的余弦。下面是關於此皮爾遜系數的幾何學的解釋，先來看一幅圖，如下所示：
回歸直線： y=gx(x) [紅色] 和 x=gy(y) [藍色]
如上圖，對於沒有中心化的數據, 相關系數與兩條可能的回歸線y=gx(x) 和 x=gy(y) 夾角的余弦值一致。
對於沒有中心化的數據 (也就是說, 數據移動一個樣本平均值以使其均值為0), 相關系數也可以被視作由兩個隨機變量 向量 夾角 的 余弦值（見下方）。
舉個例子，例如，有5個國家的國民生產總值分別為 10, 20, 30, 50 和 80 億美元。 假設這5個國家 (順序相同) 的貧困百分比分別為 11%, 12%, 13%, 15%, and 18% 。 令 x 和 y 分別為包含上述5個數據的向量: x = (1, 2, 3, 5, 8) 和 y = (0.11, 0.12, 0.13, 0.15, 0.18)。
利用通常的方法計算兩個向量之間的夾角 (參見 數量積), 未中心化 的相關系數是:
我們發現以上的數據特意選定為完全相關: y = 0.10 + 0.01 x。 於是，皮爾遜相關系數應該等於1。將數據中心化 (通過E(x) = 3.8移動 x 和通過 E(y) = 0.138 移動 y ) 得到 x = (−2.8, −1.8, −0.8, 1.2, 4.2) 和 y = (−0.028, −0.018, −0.008, 0.012, 0.042), 從中
(4)皮爾遜相關的約束條件
從以上解釋, 也可以理解皮爾遜相關的約束條件:
1 兩個變量間有線性關系
2 變量是連續變量
3 變量均符合正態分布,且二元分布也符合正態分布
4 兩變量獨立
在實踐統計中,一般只輸出兩個系數,一個是相關系數,也就是計算出來的相關系數大小,在-1到1之間;另一個是獨立樣本檢驗系數,用來檢驗樣本一致性。
簡單說來，各種“距離”的應用場景簡單概括為，空間：歐氏距離，路徑：曼哈頓距離，國際象棋國王：切比雪夫距離，以上三種的統一形式:閔可夫斯基距離，加權：標准化歐氏距離，排除量綱和依存：馬氏距離，向量差距：夾角余弦，編碼差別：漢明距離，集合近似度：傑卡德類似系數與距離，相關：相關系數與相關距離。