特征值分解
設 $A_{n \times n}$ 有 $n$ 個線性無關的特征向量 $\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}$，對應特征值分別為 $\lambda_{1}, \ldots, \lambda_{n} $
$A\left[\begin{array}{lll}\boldsymbol{x}_{1} & \cdots & \boldsymbol{x}_{n}\end{array}\right]=\left[\begin{array}{lll}\lambda_{1} \boldsymbol{x}_{1} & \cdots & \lambda_{n} \boldsymbol{x}_{n}\end{array}\right]=\left[\begin{array}{lll}\boldsymbol{x}_{1} & \cdots & \boldsymbol{x}_{n}\end{array}\right]\left[\begin{array}{ccc}\lambda_{1} & & \\& \ddots & \\& & \lambda_{n}\\\end{array}\right]\left[\begin{array}{lll}\boldsymbol{x}_{1} & \cdots & \boldsymbol{x}_{n}\end{array}\right]^{-1}$
因此有 EVD 分解
$ A X=X \Lambda \quad \quad \quad A=X \Lambda X^{-1}$
其中 $X$ 為 $\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}\left(\right. 列向量)$ 構成的矩陣， $\Lambda=\operatorname{diag}\left(\lambda_{1}, \ldots, \lambda_{n}\right) $。
即使固定 $ \Lambda$， $X$ 也不唯一。
特征值分解的例子
這里我們用一個簡單的方陣來說明特征值分解的步驟。我們的方陣A定義為：
$A=\left(\begin{array}{ccc}-1 & 1 & 0 \\-4 & 3 & 0 \\1 & 0 & 2\end{array}\right)$
首先，由方陣A的特征方程，求出特征值。
$|A-\lambda E|=\left|\begin{array}{ccc}-1-\lambda & 1 & 0 \\-4 & 3-\lambda 0 & \\1 & 0 & 2-\lambda\end{array}\right|=(2-\lambda)\left|\begin{array}{cc}-1-\lambda & 1 \\-4 & 3-\lambda\end{array}\right|=(2-\lambda)(\lambda-1)^{2}=0$
特征值為 $\lambda=2,1$ （重數是2）。
然后，把每個特征值入帶入線性方程組 $ (A-\lambda E) x=0$ , 求出特征向量。
當 $ \lambda=2$ 時，解線性方程組$(A-2 E) x=0 $ 。
$(A-2 E)=\left(\begin{array}{ccc}-3 & 1 & 0 \\-4 & 1 & 0 \\1 & 0 & 0\end{array}\right) \rightarrow\left(\begin{array}{lll}1 & 0 & 0 \\0 & 1 & 0 \\0 & 0 & 0\end{array}\right)$
解得 $x_{1}=0, \quad x_{2}=0$ 。特征向量為：$p_{1}=\left(\begin{array}{l}0 \\0 \\1\end{array}\right)$
當 $ \lambda=1$ 時，解線性方程組$ (A-E) x=0$
$\begin{array}{l}(A-2 E)=\left(\begin{array}{ccc}-2 & 1 & 0 \\-4 & 2 & 0 \\1 & 0 & 1\end{array}\right) \rightarrow\left(\begin{array}{lll}1 & 0 & 1 \\0 & 1 & 2 \\0 & 0 & 0\end{array}\right)\end{array}$
$x_{1}+x_{3}=0, \quad x_{2}+2 x_{3}=0$ 。特征向量為：$p_{2}=\left(\begin{array}{c}-1 \\-2 \\1\end{array}\right)$
最后，方陣A的特征值分解為：
$A=X \Lambda X^{-1}=\left(\begin{array}{ccc}0 & -1 & -1 \\0 & -2 & -2 \\1 & 1 & 1\end{array}\right)\left(\begin{array}{ccc}2 & 0 & 0 \\0 & 1 & 0 \\0 & 0 & 1\end{array}\right)\left(\begin{array}{ccc}0 & -1 & -1 \\0 & -2 & -2 \\1 & 1 & 1\end{array}\right)^{-1}$
進一步得, 當 $A$ 為實對稱矩陣的時候, 即 $A=A^{T}$ , 那么它可以被分解成如下的形式
$A=P \Lambda P^{T}$
其中, $P$ 為單位正交矩陣。