談談正定矩陣與半正定矩陣

1.definition

Definite matrix：

In mathematics, a symmetric matrix M with real entries is positive-definite if the real number $z^TMz $ is positive for every nonzero real column vector z, where \(z^T\) is the transpose of z. More generally, a Hermitian matrix (that is, a complex matrix equal to its conjugate transpose) is positive-definite if the real number \(z^*Mz\) is positive for every nonzero complex column vector z.

Positive semi-definite matrices

Positive semi-definite matrices are defined similarly, except that the scalars \(z^TMz\) and \(z^*Mz\) are required to be positive or zero (that is nonnegative). Negative-definite and negative semi-definite matrices are defined analogously. A matrix that is not positive semi-definite and not negative semi-definite is sometimes called indefinite.

2.從二次型到正定/半正定矩陣

我們發現，所有的二次齊次式都可以表示為矩陣的形式，例如：

就可以表示為：

顯然，這個表示是唯一的：每一個二次型都唯一對應一個對稱矩陣 ，反之亦如此. 無論是這個二次齊次式，還是代表它的矩陣，我們都稱之為二次型，因為他們指向的是同一件事.

以最簡單的二次函數\(y=ax^2\)為例：

實際上，我們可以將 視作 的多維表達式。

當我們希望 對於任意向量 都恆成立，就要求矩陣 是一個半正定矩陣，對應於二次函數， 需要使得 .

另外，在 中，我們還知道：若 ，則對於任意 ，有 恆成立。

這在 也有契合之處，當矩陣 是正定矩陣時，對於任意 ， 恆成立。

3.正定矩陣和半正定矩陣的直觀解釋

若給定任意一個正定矩陣 和一個非零向量 ，則兩者相乘得到的向量 與向量 的夾角恆小於 . (等價於： .)

4.協方差矩陣與半正定

設

為n維隨機變量，稱矩陣

為x的協方差矩陣，其中

即

現給定任意一個向量 ，則

其中，

由於 ，因此， ，協方差矩陣 是半正定的。

5.馬氏距離

馬氏距離是正定矩陣的一種衍生物，和協方差矩陣一樣，定義如下：

單個數據點的馬氏距離

數據點x, y之間的馬氏距離

其中Σ是多維隨機變量的協方差矩陣，μ為樣本均值，如果協方差矩陣是單位向量，也就是各維度獨立同分布，馬氏距離就變成了歐氏距離。

那么馬氏距離就能能干什么？它比歐氏距離好在哪里？舉幾個栗子

歐式距離近就一定相似？

先舉個比較常用的例子，身高和體重，這兩個變量擁有不同的單位標准，也就是有不同的scale。比如身高用毫米計算，而體重用千克計算，顯然差10mm的身高與差10kg的體重是完全不同的。但在普通的歐氏距離中，這將會算作相同的差距。

歸一化后歐氏距離近就一定相似？

當然我們可以先做歸一化來消除這種維度間scale不同的問題，但是樣本分布也會影響分類

舉個一維的栗子，現在有兩個類別，統一單位，第一個類別均值為0，方差為0.1，第二個類別均值為5，方差為5。那么一個值為2的點屬於第一類的概率大還是第二類的概率大？距離上說應該是第一類，但是直覺上顯然是第二類，因為第一類不太可能到達2這個位置。

所以，在一個方差較小的維度下很小的差別就有可能成為離群點。就像下圖一樣，A與B相對於原點的距離是相同的。但是由於樣本總體沿着橫軸分布，所以B點更有可能是這個樣本中的點，而A則更有可能是離群點。

算上維度的方差就夠了？

還有一個問題——如果維度間不獨立同分布，樣本點一定與歐氏距離近的樣本點同類的概率更大嗎？

可以看到樣本基本服從f(x) = x的線性分布，A與B相對於原點的距離依舊相等，顯然A更像是一個離群點

即使數據已經經過了標准化，也不會改變AB與原點間距離大小的相互關系。所以要本質上解決這個問題，就要針對主成分分析中的主成分來進行標准化。

馬氏距離的幾何意義

上面搞懂了，馬氏距離就好理解了，只需要將變量按照主成分進行旋轉，讓維度間相互獨立，然后進行標准化，讓維度同分布就OK了

由主成分分析可知，由於主成分就是特征向量方向，每個方向的方差就是對應的特征值，所以只需要按照特征向量的方向旋轉，然后縮放特征值倍就可以了，可以得到以下的結果：

離群點就被成功分離，這時候的歐式距離就是馬氏距離。

參考：

1.https://en.wikipedia.org/wiki/Definite_matrix

2.https://zhuanlan.zhihu.com/p/46626607