如何直觀地理解「協方差矩陣」？

本文轉載自查看原文 2021-05-29 18:02 1089

協方差矩陣在統計學和機器學習中隨處可見，一般而言，可視作方差和協方差兩部分組成，即方差構成了對角線上的元素，協方差構成了非對角線上的元素。本文旨在從幾何角度介紹我們所熟知的協方差矩陣。

文章結構

方差和協方差的定義
從方差/協方差到協方差矩陣
多元正態分布與線性變換
協方差矩陣的特征值分解

1. 方差和協方差的定義

在統計學中，方差是用來度量單個隨機變量的離散程度，而協方差則一般用來刻畫兩個隨機變量的相似程度，其中，方差的計算公式為
$\sigma_x^2=\frac{1}{n-1}\sum_{i=1}^n\left(x_i-\bar{x}\right)^2$
其中， $n$ 表示樣本量，符號 $\bar{x}$ 表示觀測樣本的均值，這個定義在初中階段就已經開始接觸了。

在此基礎上，協方差的計算公式被定義為

$\sigma\left(x,y\right)=\frac{1}{n-1}\sum_{i=1}^{n}\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)$

在公式中，符號 $\bar{x},\bar{y}$ 分別表示兩個隨機變量所對應的觀測樣本均值，據此，我們發現：方差 $\sigma_x^2$ 可視作隨機變量 $x$ 關於其自身的協方差 $\sigma\left(x,x\right)$ .

2. 從方差/協方差到協方差矩陣

根據方差的定義，給定 $d$ 個隨機變量 $x_k,k=1,2,...,d$ ，則這些隨機變量的方差為

$\sigma({x_k},{x_k})=\frac{1}{n-1}\sum_{i=1}^n\left(x_{ki}-\bar{x}_k\right)^2,k=1,2,...,d$

其中，為方便書寫， $x_{ki}$ 表示隨機變量 $x_k$ 中的第 $i$ 個觀測樣本， $n$ 表示樣本量，每個隨機變量所對應的觀測樣本數量均為 $n$ 。

對於這些隨機變量，我們還可以根據協方差的定義，求出兩兩之間的協方差，即

$\sigma\left(x_m,x_k\right)=\frac{1}{n-1}\sum_{i=1}^n\left(x_{mi}-\bar{x}_m\right)\left(x_{ki}-\bar{x}_k\right)$

因此，協方差矩陣為

$\Sigma=\left[ \begin{array}{ccc}\sigma({x_1},{x_1}) & \cdots & \sigma\left(x_1,x_d\right) \\ \vdots & \ddots & \vdots \\ \sigma\left(x_d,x_1\right) & \cdots & \sigma({x_d},{x_d}) \\ \end{array} \right]\in\mathbb{R}^{d\times d}$

其中，對角線上的元素為各個隨機變量的方差，非對角線上的元素為兩兩隨機變量之間的協方差，根據協方差的定義，我們可以認定：矩陣 $\Sigma$ 為對稱矩陣(symmetric matrix)，其大小為 $d\times d$ 。

3. 多元正態分布與線性變換

假設一個向量 $\boldsymbol{x}$ 服從均值向量為 $\boldsymbol{\mu}$ 、協方差矩陣為 $\Sigma$ 的多元正態分布(multi-variate Gaussian distribution)，則
$p\left(\boldsymbol{x}\right)=\left|2\pi\Sigma\right|^{-1/2}\exp\left(-\frac{1}{2}\left(\boldsymbol{x}-\boldsymbol{\mu}\right)^T\Sigma^{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}\right)\right)$

令該分布的均值向量為 $\boldsymbol{\mu}=\boldsymbol{0}$ ，由於指數項外面的系數 $\left|2\pi\Sigma\right|^{-1/2}$ 通常作為常數，故可將多元正態分布簡化為

$p\left(\boldsymbol{x}\right)\propto\exp\left(-\frac{1}{2}\boldsymbol{x}^T\Sigma^{-1}\boldsymbol{x}\right)$

再令 $\boldsymbol{x}=\left(y,z\right)^T$ ，包含兩個隨機變量 $y$ 和 $z$ ，則協方差矩陣可寫成如下形式：

$\Sigma=\left[ \begin{array}{cc}\sigma(y,y) & \sigma\left(y,z\right) \\ \sigma\left(z,y\right) & \sigma(z,z) \\ \end{array} \right]\in\mathbb{R}^{2\times 2}$

用單位矩陣(identity matrix) $I$ 作為協方差矩陣，隨機變量 $y$ 和 $z$ 的方差均為1，則生成如干個隨機數如圖1所示。

圖1 標准的二元正態分布

在生成的若干個隨機數中，每個點的似然為

$\mathcal{L}\left(\boldsymbol{x}\right)\propto\exp\left(-\frac{1}{2}\boldsymbol{x}^T\boldsymbol{x}\right)$

對圖1中的所有點考慮一個線性變換(linear transformation)： $\boldsymbol{t}=A\boldsymbol{x}$ ，我們能夠得到圖2.

圖2 經過線性變換的二元正態分布，先將圖1的縱坐標壓縮0.5倍，再將所有點逆時針旋轉30°得到。

在線性變換中，矩陣 $A$ 被稱為變換矩陣(transformation matrix)，為了將圖1中的點經過線性變換得到我們想要的圖2，其實我們需要構造兩個矩陣：

尺度矩陣(scaling matrix)：

$S=\left[ \begin{array}{cc} s_y & 0 \\ 0 & s_z \\ \end{array} \right]$

旋轉矩陣(rotation matrix)

$R=\left[ \begin{array}{cc} \cos(\theta) & -\sin(\theta) \\ \sin(\theta) & \cos(\theta) \\ \end{array} \right]$

其中， $\theta$ 為順時針旋轉的度數。

變換矩陣、尺度矩陣和旋轉矩陣三者的關系式：
$A=RS$

在這個例子中，尺度矩陣為 $S=\left[ \begin{array}{cc} 1 & 0 \\ 0 & \frac{1}{2} \\ \end{array} \right]$ ，旋轉矩陣為 $R=\left[ \begin{array}{cc} \cos(-\frac{\pi}{6}) & -\sin(-\frac{\pi}{6}) \\ \sin(-\frac{\pi}{6}) & \cos(-\frac{\pi}{6}) \\ \end{array} \right]$ $=\left[ \begin{array}{cc} \frac{\sqrt{3}}{2} & \frac{1}{2} \\ -\frac{1}{2} & \frac{\sqrt{3}}{2} \\ \end{array} \right]$ ，故變換矩陣為

$A=RS=\left[ \begin{array}{cc} \frac{\sqrt{3}}{2} & \frac{1}{4} \\ -\frac{1}{2} & \frac{\sqrt{3}}{4} \\ \end{array} \right]$ .

另外，需要考慮的是，經過了線性變換， $\boldsymbol{t}$ 的分布是什么樣子呢？

將 $\boldsymbol{x}=A^{-1}\boldsymbol{t}$ 帶入前面給出的似然 $\mathcal{L}\left(\boldsymbol{x}\right)$ ，有

$\mathcal{L}\left(\boldsymbol{t}\right)\propto\exp\left(-\frac{1}{2}\left(A^{-1}\boldsymbol{t}\right)^T\left(A^{-1}\boldsymbol{t}\right)\right)$

$=\exp\left(-\frac{1}{2}\boldsymbol{t}^T\left(AA^{T}\right)^{-1}\boldsymbol{t}\right)$

由此可以得到，多元正態分布的協方差矩陣為

$\Sigma=AA^{T}=\left[ \begin{array}{cc} \frac{\sqrt{3}}{2} & \frac{1}{4} \\ -\frac{1}{2} & \frac{\sqrt{3}}{4} \\ \end{array} \right]\left[ \begin{array}{cc} \frac{\sqrt{3}}{2} & -\frac{1}{2} \\ \frac{1}{4} & \frac{\sqrt{3}}{4} \\ \end{array} \right]$ $=\left[ \begin{array}{cc} \frac{13}{16} & -\frac{3\sqrt{3}}{16} \\ -\frac{3\sqrt{3}}{16} & \frac{7}{16} \\ \end{array} \right]$ .

4. 協方差矩陣的特征值分解

回到我們已經學過的線性代數內容，對於任意對稱矩陣 $\Sigma$ ，存在一個特征值分解(eigenvalue decomposition, EVD)：

$\Sigma=U\Lambda U^T$

其中， $U$ 的每一列都是相互正交的特征向量，且是單位向量，滿足 $U^TU=I$ ， $\Lambda$ 對角線上的元素是從大到小排列的特征值，非對角線上的元素均為0。

當然，這條公式在這里也可以很容易地寫成如下形式：

$\Sigma=\left(U\Lambda^{1/2}\right)\left(U\Lambda^{1/2}\right)^T=AA^T$

其中， $A=U\Lambda^{1/2}$ ，因此，通俗地說，任意一個協方差矩陣都可以視為線性變換的結果。

在上面的例子中，特征向量構成的矩陣為

$U=R=\left[ \begin{array}{cc} \cos(\theta) & -\sin(\theta) \\ \sin(\theta) & \cos(\theta) \\ \end{array} \right]=\left[ \begin{array}{cc} \frac{\sqrt{3}}{2} & \frac{1}{2} \\ -\frac{1}{2} & \frac{\sqrt{3}}{2} \\ \end{array} \right]$ .

特征值構成的矩陣為

$\Lambda=SS^T=\left[ \begin{array}{cc} s_y^2 & 0 \\ 0 & s_z^2 \\ \end{array} \right]=\left[ \begin{array}{cc} 1 & 0 \\ 0 & \frac{1}{4} \\ \end{array} \right]$ .

到這里，我們發現：多元正態分布的概率密度是由協方差矩陣的特征向量控制旋轉(rotation)，特征值控制尺度(scale)，除了協方差矩陣，均值向量會控制概率密度的位置，在圖1和圖2中，均值向量為 $\boldsymbol{0}$ ，因此，概率密度的中心位於坐標原點。