線性代數之——對稱矩陣及正定性

當 \(A\) 是對稱的時候，\(Ax=\lambda x\) 有什么特殊的呢？

1. 對稱矩陣的分解

\[A = S\Lambda S^{-1} \]

\[A^T = (S^{-1})^T\Lambda S^{T} \]

如果 \(A\) 是對稱矩陣，也就是 \(A=A^T\)。對比以上兩個式子，我們可以得到 \(S^{-1}=S^T\)，也就是 \(S^TS=I\)，特征向量矩陣 \(S\) 是正交的。

對稱矩陣具有如下的性質：

• 它們的特征值都是實數；
• 可以選取出一組標准正交的特征向量。

每個對稱矩陣都可以分解為 \(A=Q\Lambda Q^{-1}=Q\Lambda Q^T\)，\(\Lambda\) 中為實數的特征值，\(S=Q\) 中為標准正交的特征向量。

• 例 1

\[A = \begin{bmatrix} 1&2 \\2&4\end{bmatrix} \]

\[A-\lambda I = \begin{bmatrix} 1-\lambda&2 \\2&4-\lambda\end{bmatrix} \]

\[det(A-\lambda I) = (1-\lambda)(4-\lambda)-4=\lambda^2-5\lambda=0 \]

特征值和特征向量分別為：

\[\lambda_1 = 0，x_1 = \begin{bmatrix} 2 \\ -1 \end{bmatrix} \]

\[\lambda_2 = 5，x_2 = \begin{bmatrix} 1 \\ 2 \end{bmatrix} \]

特征向量 \(x_1\) 位於零空間，特征向量 \(x_2\) 位於列空間。有子空間基本定理可知，零空間正交於行空間，這里 \(A\) 是對稱矩陣，所以列空間和行空間是一樣的，因此兩個特征向量是垂直的。而要得到標准正交向量，我們只需再除以它們各自的長度即可。所以有：

\[Q\Lambda Q^T=\frac{1}{\sqrt5}\begin{bmatrix} 2&1 \\-1&2\end{bmatrix}\begin{bmatrix} 0&0 \\0&5\end{bmatrix}\frac{1}{\sqrt5}\begin{bmatrix} 2&-1 \\1&2\end{bmatrix} =A \]

一個實對稱矩陣的所有特征值都是實數。

證明

實數的共軛還是它本身，兩個數積的共軛等於共軛的積，即 \(\overline{AB}=\bar A \bar B\)。

\[\tag{1}Ax=\lambda x \to \bar A\bar x=\bar \lambda\bar x \to A\bar x=\bar \lambda\bar x \]

對 (1) 進行轉置可得

\[\tag{2}\bar x^TA^T=\bar \lambda\bar x^T \to \bar x^TA=\bar \lambda\bar x^T \]

將 \(Ax=\lambda x\) 乘以 \(\bar x^T\)，將 (2) 式乘以 \(x\)，可得

\[\tag{3}\bar x^TAx=\lambda \bar x^Tx \]

\[\tag{4}\bar x^TAx=\bar \lambda\bar x^Tx \]

由於右邊為向量長度的平方，因此不為零。對比 (3) 、(4) 兩式可得 \(\bar \lambda= \lambda\)，所以對稱矩陣的特征值一定為實數。

一個實對稱矩陣的所有特征向量（對應於不同特征值）是正交的。

證明

假設有 \(Ax=\lambda_1 x\) 和 \(Ay=\lambda_2 y\)，並且 \(\lambda_1 \not = \lambda_2\)，那么

\[(\lambda_1 x)^Ty = (Ax)^Ty=x^TA^Ty=x^TAy=x^T\lambda_2y \]

等式左邊為 \(x^T\lambda_1y\)，等式右邊為 \(x^T\lambda_2y\)，因為 \(\lambda_1 \not = \lambda_2\)，所以有 \(x^Ty=0\)，也即兩個特征向量垂直。

• 例 2

\[A = \begin{bmatrix} a&b \\b&c\end{bmatrix} \]

特征向量分別為：

\[x_1 = \begin{bmatrix} b \\ \lambda_1-a \end{bmatrix} \]

\[x_2 = \begin{bmatrix} \lambda_2-c \\ b \end{bmatrix} \]

\[x_1^Tx_2=b(\lambda_2-c)+b(\lambda_1-a)=b(\lambda_1+\lambda_2-a-c)=0 \]

兩個特征值的和為矩陣的跡，即對角線元素的和。

我們再來看 \(2×2\) 矩陣分解后的結果

\[A=Q\Lambda Q^T = \begin{bmatrix} \\x_1& x_2 \\ \space \end{bmatrix}\begin{bmatrix} \lambda_1\\ \space & \lambda_2 \end{bmatrix}\begin{bmatrix} \quad x_1^T\quad\\ \quad x_2 \quad \end{bmatrix} \]

\[A=\lambda_1 x_1x_1^T+\lambda_2 x_2x_2^T \]

擴展到 \(n\) 維的情況，\(A=\sum_i^n\lambda_i x_ix_i^T\)，其中每一個 \(x_ix_i^T\) 都是投影矩陣，\(P=\frac{xx^T}{x^Tx}\)，特征向量的長度為 1，所以分母略去了。也就是說，對稱矩陣是其特征向量投影矩陣的線性組合。

2. 實矩陣的復特征向量

\[Ax=\lambda x \to \bar A\bar x=\bar \lambda\bar x \to A\bar x=\bar \lambda\bar x \]

針對對稱矩陣，其特征值和特征向量都是實的。但是，非對稱矩陣非常容易得到虛的特征值和特征向量。在這種情況下，\(Ax=\lambda x\) 和 \(A\bar x=\bar \lambda\bar x\) 是不同的，我們得到了一個新的特征值 \(\bar \lambda\) 和新的特征向量 \(\bar x\)。

針對實矩陣，復數的特征值和特征向量總是一對共軛對。

3. 特征值和主元

矩陣的主元和特征值是非常不同的，主元是通過消元得到的，而特征值是通過求解 \(det(A-\lambda I)=0\) 得到的。到目前為止，它們唯一的聯系就是：所有主元的乘積等於所有特征值的乘積，都等於矩陣的行列式值。

針對對稱矩陣，還有一個隱藏的關系：主元的符號和特征值的符號一致，也就是正的主元個數等於正的特征值的個數。

證明

對稱矩陣可以被分解為 \(A=LDL^T\) 的形式。

當 \(L\) 變成 \(I\) 的時候，\(LDL^T\) 就變成了 \(IDI^T\)，也就是由 \(A\) 變成了 \(D\)。\(A\) 的特征值為 4 和 -2，\(D\) 的特征值為 1 和 -8。當 \(L\) 中左下角的元素從 3 變到 0 的時候， \(L\) 就變成了 \(I\)。在這個過程中，如果特征值符號發生改變的話，那肯定會有一個中間時刻，這時候特征值為 0，也就意味着矩陣是奇異的。但是最后的矩陣 \(D\) 一直有兩個主元，始終是可逆的，從來不可能是奇異的，因此特征值的符號不會發生改變。

特別地，所有的特征值都大於零，也就是所有的主元都大於零，這種情況下，矩陣就稱之為是正定的。

4. 重復的特征值

當沒有重復特征值的時候，特征向量一定是線性不相關的，這時候矩陣一定可以被對角化。但是一個重復的特征值可能會導致特征向量的缺乏，這有些時候會發生在非對稱矩陣上，但是對稱矩陣一定會有足夠的特征向量來進行對角化。

證明

獲取更多精彩，請關注「seniusen」!