特征值、特征向量、對角化

特征向量

\(Ax=b\)在幾何上就是矩陣A對向量x做的變換，b就是變換后得到的向量。

對於大部分經過\(A\)變換后的\(x\)，得到的\(b\)都是和\(x\)不平行的，但也有平行的。這個變換后還平行於本身的向量就稱作特征向量。

特征值

\(x\)變換后還與原來平行，那么就可以寫成\(Ax=\lambda x\)。

\(\lambda\)就是特征值，可正可負可為0

為正\(\lambda x\)和\(x\)方向相同
為負\(\lambda x\)和\(x\)方向相反

舉例子舉例子

投影矩陣

對於A的投影矩陣P，\(Px=?\)

如果x在A里，那么\(Px=x\)，特征值是1

如果x不在A里，沒法保證\(Px=\lambda x\)

如果x垂直於A，那么\(Px=0\)，特征值是0

置換矩陣

\[A = \begin{bmatrix} 0&1\\ 1&0 \end{bmatrix} \]

這個矩陣把未知數\(x\)第一行第二行互換，那么想要互換完仍然平行於之前，那么有兩種情況

\(x=[1,1]^T\)或\(x=[-1,1]^T\)

就是x里面倆完全相等或相反。第一種特征值為1，第二種為-1

總結

一個特征值對應的特征向量有無數個，所以也就是說真正有用的特征向量都是線性無關的。

如果選擇\(x\)為0的話，那么不管\(A\)是什么\(\lambda\)是什么，都是和原來平行的，所以我們不討論\(x\)為0的情況

算法

\(Ax=\lambda x\)有兩個未知數，變形得到

\[(A-\lambda I)x=0 \]

\(A\)有特征值當且僅當如上方程有非平凡解。也就是\(x\not =0\)的時有解，則\((A-\lambda I)\)必定是奇異矩陣，否則\(x\)只能為0

奇異矩陣的行列式為0，所以

\[det(A-\lambda I)=0 \]

這下就不管\(x\)什么事了，只有一個未知數\(\lambda\)。

假設我們求特征值和特征向量的矩陣長這樣

\[A= \begin{bmatrix} 3&1\\ 1&3 \end{bmatrix} \]

根據行列式運算性質，可以得到\(det(A-\lambda I)\)為

\[\begin{vmatrix} 3-\lambda&1\\ 1&3-\lambda \end{vmatrix}=(3-\lambda)^2-1=0\\ \lambda_1=4,\lambda_2=2 \]

再求解特征向量

\[(A-4I)x=0\\ (A-2I)x=0\\ x1=[1,1]^T,x_2=[-1,1]^T \]

以上就是求解特征值的算法，下面是性質

性質

• 特征值和等於矩陣對角線元素和
• 特征值積等於矩陣行列式
• 規模相同的對角矩陣有相同的特征向量，區別就是特征值不同
• 如果把矩陣對角線加上相同數（也就是加上nI），特征值也加n

特例

正交矩陣

\[Q=\begin{bmatrix} 0&-1\\ 1&0 \end{bmatrix} \]

特征值之和是0，特征值之積是1

\[\begin{vmatrix} 0-\lambda&-1\\ 1&0-\lambda \end{vmatrix}=(0-\lambda)^2+1=0 \\ \lambda_1=i, \lambda_2=-i \]

Oh，，，方程中出現了一個數的平方加1等於0的情況...這時候特征值是復數。

三角矩陣

三角矩陣特征值是對角線元素

對於三角矩陣A

\[\begin{bmatrix} a_{11}&a_{12}&a_{13}\\ 0&a_{22}&a_{23}\\ 0&0&a_{33} \end{bmatrix} \]

要滿足\((A-\lambda I)x=0\)有非平凡解，也就是

\[\begin{bmatrix} a_{11}-\lambda&a_{12}&a_{13}\\ 0&a_{22}-\lambda&a_{23}\\ 0&0&a_{33}-\lambda \end{bmatrix}x=0 \]

主元必須有為0的，也就是\(a_{11}-\lambda\)、\(a_{22}-\lambda\)、\(a_{33}-\lambda\)必須有為0的，所以特征值只能是\(a_{11}\)、\(a_{22}\)、\(a_{33}\)

退化矩陣

\[A=\begin{bmatrix} 3&1\\ 0&3 \end{bmatrix}\\ \begin{vmatrix} 3-\lambda&1\\ 0&3-\lambda \end{vmatrix}=(3-\lambda)(3-\lambda)=0\\ \lambda_1=3,\lambda_2=3 \]

ohh，特征值重復了，造成特征向量短缺，這種矩陣稱為退化矩陣

對角化

假設A有n個線性無關特征向量\(x_1,x_2,...,x_n\),將它們按順序組成矩陣S,那\(AS\)等於啥呢?

\[AS=A[x_1,x_2,...,x_n]=[\lambda x_1,\lambda x+2,...,\lambda x_n]\\=[x_1,x_2,...,x_n]\begin{bmatrix} \lambda_1&0&...&0\\ 0&\lambda_2&...&0\\ ...&...&...&...\\ 0&0&...&\lambda_n \end{bmatrix}=S\Lambda\\ AS=S\Lambda\\ \]

得到的是S乘一個對角矩陣\(\Lambda\),這個對角矩陣由特征值組成,兩側同右乘$S^{-1}得

\[A=S\Lambda S^{-1} \]

But有啥用呢??

矩陣冪乘

如果算一個矩陣的2次方,還好,但是如果算100次方工作量還挺大的,好在上面的對角矩陣能幫忙

\[A=S\Lambda S^{-1}\\ A^2=S\Lambda S^{-1}S\Lambda S^{-1}=S\Lambda^2S^{-1} \]

所以,對於一個矩陣,你只需要算出它的特征向量和特征值矩陣就好了,因為特征值矩陣是個對角矩陣,所以它的冪乘很好求

差分方程

差分方程是這樣形式的方程

\[x_{k+1}=Ax_k(k=0,1,2...) \]

這其實就是遞歸，遞歸就必定有結束條件。所以一定要有個\(x_0\)已經給定，否則就一直遞歸下去了。

參考資料

• MIT線性代數公開課 - bilibili