正定矩陣與半正定矩陣

本文轉載自查看原文 2019-11-22 17:31 272 機器學習

在眾多的機器學習模型中，線性代數的身影無處不在，當然，我們也會時常碰到線性代數中的正定矩陣和半正定矩陣。例如，多元正態分布的協方差矩陣要求是半正定的。

1. 基本的定義

正定和半正定這兩個詞的英文分別是positive definite和positive semi-definite，其中，definite是一個形容詞，表示“明確的、確定的”等意思。

初學線性代數的讀者可能會被這兩個詞“唬住”，但正定矩陣和半正定矩陣的定義實際上是很簡單的 (不考慮復數構成的矩陣)：

【定義1】給定一個大小為 $n\times n$ 的實對稱矩陣 $A$ ，若對於任意長度為 $n$ 的非零向量 $\boldsymbol{x}$ ，有 $\boldsymbol{x}^TA\boldsymbol{x}>0$ 恆成立，則矩陣 $A$ 是一個正定矩陣。

【例1】單位矩陣 $I\in\mathbb{R}^{2\times 2}$ 是否是正定矩陣？

解：設向量 $\boldsymbol{x}=\left[ \begin{array}{c} x_1 \\ x_2 \\ \end{array} \right] \in\mathbb{R}^{2}$ 為非零向量，則

$\boldsymbol{x}^TI\boldsymbol{x}=\boldsymbol{x}^T\boldsymbol{x}=x_1^2+x_2^2$

由於 $\boldsymbol{x}\neq \boldsymbol{0}$ ，故 $\boldsymbol{x}^TI\boldsymbol{x}>0$ 恆成立，即單位矩陣 $I\in\mathbb{R}^{2\times 2}$ 是正定矩陣。

單位矩陣是正定矩陣 (positive definite)。

【簡單證明】對於任意單位矩陣 $I\in\mathbb{R}^{n\times n}$ 而言，給定任意非零向量 $\boldsymbol{x}\in\mathbb{R}^{n}$ ，恆有

$\boldsymbol{x}^TI\boldsymbol{x}=\boldsymbol{x}^T\boldsymbol{x}$

$=x_1^2+x_2^2+\cdots+x_n^2>0$

【例2】實對稱矩陣 $A=\left[ \begin{array}{ccc} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \\ \end{array} \right] \in\mathbb{R}^{3\times 3}$ 是否是正定矩陣？

解：設向量 $\boldsymbol{x}=\left[ \begin{array}{c} x_1 \\ x_2 \\ x_3 \\ \end{array} \right] \in\mathbb{R}^{3}$ 為非零向量，則

$\boldsymbol{x}^TA\boldsymbol{x}= \left[\begin{array}{ccc}(2x_1-x_2) & (-x_1+2x_2-x_3) & -x_2+2x_3\end{array}\right] \left[\begin{array}{c}x_1 \\ x_2 \\ x_3 \\ \end{array}\right]$

$=x_1^2+(x_1-x_2)^2+(x_2-x_3)^2+x_3^2>0$

因此，矩陣 $A$ 是正定矩陣。

【定義2】給定一個大小為 $n\times n$ 的實對稱矩陣 $A$ ，若對於任意長度為 $n$ 的向量 $\boldsymbol{x}$ ，有 $\boldsymbol{x}^TA\boldsymbol{x}\geq0$ 恆成立，則矩陣 $A$ 是一個半正定矩陣。

根據正定矩陣和半正定矩陣的定義，我們也會發現：半正定矩陣包括了正定矩陣，與非負實數 (non-negative real number)和正實數 (positive real number)之間的關系很像。

圖1 正實數與負實數，圖片來源於https://en.wikipedia.org/wiki/Real_number

2. 從二次函數到正定/半正定矩陣

在初中數學中，我們學習了二次函數 $y=ax^2$ ，該函數的曲線會經過坐標原點，當參數 $a>0$ 時，曲線的“開口”向上，參數 $a<0$ 時，曲線的“開口”向下。

以 $y=2x^2$ 為例，曲線如下：

圖2 二次函數曲線

實際上，我們可以將 $y=\boldsymbol{x}^TA\boldsymbol{x}$ 視作 $y=ax^2$ 的多維表達式。

當我們希望 $y=\boldsymbol{x}^TA\boldsymbol{x}\geq0$ 對於任意向量 $\boldsymbol{x}$ 都恆成立，就要求矩陣 $A$ 是一個半正定矩陣，對應於二次函數， $y=ax^2>0,\forall x$ 需要使得 $a\geq0$ .

另外，在 $y=ax^2$ 中，我們還知道：若 $a>0$ ，則對於任意 $x\neq 0$ ，有 $y>0$ 恆成立。

這在 $y=\boldsymbol{x}^TA\boldsymbol{x}$ 也有契合之處，當矩陣 $A$ 是正定矩陣時，對於任意 $\boldsymbol{x}\neq \boldsymbol{0}$ ， $y>0$ 恆成立。

3. 正定矩陣和半正定矩陣的直觀解釋

若給定任意一個正定矩陣 $A\in\mathbb{R}^{n\times n}$ 和一個非零向量 $\boldsymbol{x}\in\mathbb{R}^{n}$ ，則兩者相乘得到的向量 $\boldsymbol{y}=A\boldsymbol{x}\in\mathbb{R}^{n}$ 與向量 $\boldsymbol{x}$ 的夾角恆小於 $\frac{\pi}{2}$ . (等價於： $\boldsymbol{x}^TA\boldsymbol{x}>0$ .)

【例3】給定向量 $\boldsymbol{x}=\left[\begin{array}{c} 2 \\ 1 \\ \end{array} \right]\in\mathbb{R}^{2}$ ，對於單位矩陣 $I=\left[\begin{array}{cc} 1 & 0 \\ 0 & 1 \\ \end{array}\right] \in\mathbb{R}^{2\times 2}$ ，則

$\boldsymbol{y}=I\boldsymbol{x}=\boldsymbol{x}=\left[\begin{array}{c} 2 \\ 1 \\ \end{array} \right]$

向量 $\boldsymbol{x},\boldsymbol{y}\in\mathbb{R}^{2}$ 之間的夾角為

$\cos\left<\boldsymbol{x},\boldsymbol{y}\right>=\frac{\boldsymbol{x}^T\boldsymbol{y}}{||\boldsymbol{x}||\cdot||\boldsymbol{y}||}$

$=\frac{2\times 2+1\times 1}{\sqrt{2^2+1^2}\cdot\sqrt{2^2+1^2}}$

$=1$

即兩個向量之間的夾角為0°.

【例4】給定向量 $\boldsymbol{x}=\left[ \begin{array}{c} 1 \\ 2 \\ 1 \\ \end{array} \right] \in\mathbb{R}^{3}$ ，對於實對稱矩陣 $A=\left[ \begin{array}{ccc} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \\ \end{array} \right] \in\mathbb{R}^{3\times 3}$ ，則

$\boldsymbol{y}=A\boldsymbol{x}= \left[ \begin{array}{c} 0 \\ 2 \\ 0 \\ \end{array} \right]$

向量 $\boldsymbol{x},\boldsymbol{y}\in\mathbb{R}^{2}$ 之間的夾角為

$\cos\left<\boldsymbol{x},\boldsymbol{y}\right>=\frac{\boldsymbol{x}^T\boldsymbol{y}}{||\boldsymbol{x}||\cdot||\boldsymbol{y}||}=\frac{\sqrt{6}}{3}$

即兩個向量之間的夾角小於 $\frac{\pi}{2}$ .

若給定任意一個半正定矩陣 $A\in\mathbb{R}^{n\times n}$ 和一個向量 $\boldsymbol{x}\in\mathbb{R}^{n}$ ，則兩者相乘得到的向量 $\boldsymbol{y}=A\boldsymbol{x}\in\mathbb{R}^{n}$ 與向量 $\boldsymbol{x}$ 的夾角恆小於或等於 $\frac{\pi}{2}$ . (等價於： $\boldsymbol{x}^TA\boldsymbol{x}\geq0$ .)

3. 為什么協方差矩陣要是半正定的？

在概率論與數理統計中，我們都學習的協方差矩陣的定義：

對於任意多元隨機變量 $\boldsymbol{t}$ ，協方差矩陣為
$C=\mathbb{E}\left[(\boldsymbol{t}-\bar{\boldsymbol{t}})(\boldsymbol{t}-\bar{\boldsymbol{t}})^T\right]$

現給定任意一個向量 $\boldsymbol{x}$ ，則

$\boldsymbol{x}^TC\boldsymbol{x}=\boldsymbol{x}^T\mathbb{E}\left[(\boldsymbol{t}-\bar{\boldsymbol{t}})(\boldsymbol{t}-\bar{\boldsymbol{t}})^T\right]\boldsymbol{x}$

$=\mathbb{E}\left[\boldsymbol{x}^T(\boldsymbol{t}-\bar{\boldsymbol{t}})(\boldsymbol{t}-\bar{\boldsymbol{t}})^T\boldsymbol{x}\right]$

$=\mathbb{E}(s^2)=\sigma_{s}^2$

其中，

$\sigma_s=\boldsymbol{x}^T(\boldsymbol{t}-\bar{\boldsymbol{t}})=(\boldsymbol{t}-\bar{\boldsymbol{t}})^T\boldsymbol{x}$

由於 $\sigma_s^2\geq0$ ，因此， $\boldsymbol{x}^TC\boldsymbol{x}\geq0$ ，協方差矩陣 $C$ 是半正定的。

注：原文搬運自知乎：https://zhuanlan.zhihu.com/p/44860862

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 正定矩陣和半正定矩陣正定矩陣和半正定矩陣如何理解正定矩陣和半正定矩陣正定矩陣正定矩陣談談正定矩陣與半正定矩陣矩陣正定、負定、半正定、半負定對稱矩陣及正定矩陣正定矩陣與半正定矩陣定義與判別矩陣半正定: positive semidefinite