1 基本的定義
正定和半正定這兩個詞的英文分別是 positive definite 和 positive semi-definite，其中，definite是一個形容詞，表示“明確的、確定的”等意思。
定義1：給定一個大小為 $n \times n$ 的實對稱矩陣 $A$ ，若對於任意長度為 $n$ 的非零向量 $\boldsymbol{x}$ 有 $ \boldsymbol{x}^{T} A \boldsymbol{x}>0$ 恆成立， 則矩陣 $A$ 是一個正定矩陣。
正定矩陣：對於 $n$ 階實對稱矩陣 $A$ ，下列條件是等價的：
- $A$ 是正定矩陣；
- $A$ 的一切順序主子式均為正；
- $A$ 的一切主子式均為正；
- $A$ 的特征值均為正；
- 存在實可逆矩陣 $C$，使 $A=C′C$；
- 存在秩為 $n$ 的 $m×n$ 實矩陣 B，使 $A=B′B$；
- 存在主對角線元素全為正的實三角矩陣 $R$，使 $A=R′R$ 。
例1：單位矩陣 $I \in \mathbb{R}^{2 \times 2}$ 是否是正定矩陣?
解：設向量 $ \boldsymbol{x}=\left[\begin{array}{l}x_{1} \\ x_{2}\end{array}\right] \in \mathbb{R}^{2}$ 為非零向量， 則
$\boldsymbol{x}^{T} \boldsymbol{I} \boldsymbol{x}=\boldsymbol{x}^{T} \boldsymbol{x}=x_{1}^{2}+x_{2}^{2}$
由於 $ \boldsymbol{x} \neq \mathbf{0} $，故$ \boldsymbol{x}^{T} I \boldsymbol{x}>0$ 恆成立，即單位矩陣 $ I \in \mathbb{R}^{2 \times 2}$ 是正定矩陣。
擴展：對於任意單位矩陣 $I \in \mathbb{R}^{n \times n}$ 而言，給定任意非零向量 $\boldsymbol{x} \in \mathbb{R}^{n}$ ， 恆有
$\begin{array}{l} \boldsymbol{x}^{T} I \boldsymbol{x}=\boldsymbol{x}^{T} \boldsymbol{x} \\ =x_{1}^{2}+x_{2}^{2}+\cdots+x_{n}^{2}>0 \end{array}$
例2：實對稱矩陣 $A=\left[\begin{array}{ccc}2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2\end{array}\right] \in \mathbb{R}^{3 \times 3} $ 是否是正定矩陣?
解：設向量 $\boldsymbol{x}=\left[\begin{array}{l}x_{1} \\ x_{2} \\ x_{3}\end{array}\right] \in \mathbb{R}^{3}$ 為非零向量，則
$\begin{array}{l} \boldsymbol{x}^{T} A \boldsymbol{x}=\left[\begin{array}{ll} \left(2 x_{1}-x_{2}\right) & \left(-x_{1}+2 x_{2}-x_{3}\right) & -x_{2}+2 x_{3} \end{array}\right]\left[\begin{array}{l} x_{1} \\ x_{2} \\ x_{3} \end{array}\right] \end{array}$
$ =x_{1}^{2}+\left(x_{1}-x_{2}\right)^{2}+\left(x_{2}-x_{3}\right)^{2}+x_{3}^{2}>0$
因此，矩陣 A 是正定矩陣。
定義2：給定一個大小為 $n \times n$ 的實對稱矩陣 $A$ ， 若對於任意長度為 $n$ 的向量 $\boldsymbol{x} $， 有 $\boldsymbol{x}^{T} A \boldsymbol{x} \geq 0$ 恆成立，則矩陣 $A $ 是一個半正定矩陣。
半正定矩陣：設 A 是 n 階實對稱矩陣，則下列的條件等價：
1.$A$ 是半正定的。
2.$A$ 的所有主子式均為非負的。
3.$A$ 的特征值均為非負的。
4.存在 $n$ 階實矩陣 $C$，使 $A=C′C$.
5.存在秩為 $r$ 的 $r×n$ 實矩陣 $B$，使 $A=B′B$.
根據正定矩陣和半正定矩陣的定義，我們也會發現：半正定矩陣包括了正定矩陣
2 從二次函數到正定/半正定矩陣
我們學習過二次函數 $y=a x^{2}$ ， 該函數的曲線會經過坐標原點，當參數 $a>0$ 時，曲線的 “開口" 向上，參數 $a<0$ 時，曲線的 "開口" 向下。
以 y=2 x^{2} 為例, 曲線如下:
實際上，我們可以將 $y=\boldsymbol{x}^{T} A \boldsymbol{x}$ 視作 $y=a x^{2}$ 的多維表達式。
當我們希望 $ y=\boldsymbol{x}^{T} A \boldsymbol{x} \geq 0$ 對於任意向量 $ \boldsymbol{x}$ 都恆成立，就要求矩陣 $ A$ 是一個半正定矩陣，對應於二次函數， $ y=a x^{2}>0$，$ \forall x $ 需要使得 $ a \geq 0 $。
另外，在 $ y=a x^{2}$ 中，我們還知道：若 $ a>0$ ，則對於任意 $ x \neq 0$， 有 $ y>0$ 恆成立。 這在 $ y=\boldsymbol{x}^{T} A \boldsymbol{x}$ 也有契合之處，當矩陣 $ A$ 是正定矩陣時，對於任意 $\boldsymbol{x} \neq \mathbf{0}, \quad y>0$ 恆成 立。
3 正定矩陣和半正定矩陣的直觀解釋
若給定任意一個正定矩陣 $A \in \mathbb{R}^{n \times n}$ 和一個非零向量 $\boldsymbol{x} \in \mathbb{R}^{n}$，則兩者相乘得到的向量 $ \boldsymbol{y}=A \boldsymbol{x} \in \mathbb{R}^{n}$ 與向量 $\boldsymbol{x}$ 的夾角恆小於 $\frac{\pi}{2} $。 (等價於: $\boldsymbol{x}^{T} A \boldsymbol{x}>0$。)
例3：給定向量 $\boldsymbol{x}=\left[\begin{array}{l}2 \\ 1\end{array}\right] \in \mathbb{R}^{2}$， 對於單位矩陣 $I=\left[\begin{array}{ll}1 & 0 \\ 0 & 1\end{array}\right] \in \mathbb{R}^{2 \times 2} $， 則
$\boldsymbol{y}=I \boldsymbol{x}=\boldsymbol{x}=\left[\begin{array}{l} 2 \\1 \end{array}\right]$
向量 $ \boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^{2}$ 之間的夾角為
$\begin{array}{l} \cos \langle\boldsymbol{x}, \boldsymbol{y}\rangle=\frac{\boldsymbol{x}^{T} \boldsymbol{y}}{\|\boldsymbol{x}\| \cdot\|\boldsymbol{y}\|} \\ =\frac{2 \times 2+1 \times 1}{\sqrt{2^{2}+1^{2}} \cdot \sqrt{2^{2}+1^{2}}} \\ =1 \end{array}$
即兩個向量之間的夾角為 $0^{\circ}$。
若給定任意一個半正定矩陣 $A \in \mathbb{R}^{n \times n}$ 和一個向量 $\boldsymbol{x} \in \mathbb{R}^{n} $， 則兩者相乘得到的向量 $\boldsymbol{y}=A \boldsymbol{x} \in \mathbb{R}^{n}$ 與向量 $\boldsymbol{x}$ 的夾角恆小於或等於 $\frac{\pi}{2}$ . (等價於: $\boldsymbol{x}^{T} A \boldsymbol{x} \geq 0$)
例4：給定向量 $\boldsymbol{x}=\left[\begin{array}{l}1 \\ 2 \\ 1\end{array}\right] \in \mathbb{R}^{3}$，對於實對稱矩陣 $A=\left[\begin{array}{ccc}2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2\end{array}\right] \in \mathbb{R}^{3 \times 3} $ ，則
$\boldsymbol{y}=A \boldsymbol{x}=\left[\begin{array}{l} 0 \\ 2 \\ 0 \end{array}\right]$
向量 $ \boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^{2}$ 之間的夾角為
$\cos \langle\boldsymbol{x}, \boldsymbol{y}\rangle=\frac{\boldsymbol{x}^{T} \boldsymbol{y}}{\|\boldsymbol{x}\| \cdot\|\boldsymbol{y}\|}=\frac{\sqrt{6}}{3}$
$