MIT線性代數公開課學習筆記第26~30課

二十六、對稱矩陣及正定性

實對稱矩陣

實對稱矩陣是所有元素均為實數的對稱矩陣。具有以下性質：

• 1、所有特征值均為實數

• 2、所有特征向量均為實向量

• 3、不同特征值對應的特征向量之間是正交的

• 4、具有n個線性無關的特征向量

• 5、任意實對稱陣A都可以用正交陣\(P\)對角化：\(A=Q\Lambda Q^{-1}=Q\Lambda Q^T\)

分析第一條性質

下面證明第1條性質：
因為\(A\)為實對稱陣，從而\(\bar A=A,A^T=A\)

\[Ax=\lambda x \]

兩邊同取共軛：

\[\bar A \bar x=\bar \lambda \bar x \]

兩邊同時轉置：

\[\bar x^T\bar {A^T} =\bar \lambda \bar x^T \]

\[\bar x^T A =\bar \lambda \bar x^T \]

兩邊同時右乘\(x\)

\[\bar x^T Ax =\bar \lambda \bar x^T x \]

\[\lambda \bar x^T x =\bar \lambda \bar x^T x \]

其中，\(\|x\|^2=\bar x^T x\)，又特征向量模長不為0，從而左右同時除去\(\bar x^T x\)便可得到：

\[\bar\lambda=\lambda \]

分析第五條性質

國內線代教材已指出，可通過求出A的每個特征值的特征向量，並對每個特征值的\(n-r(\lambda_iI-A)\)個線性無關的特征向量施密特正交單位化后，得到n個相互正交的單位特征向量，將它們按列排列，即可得到正交陣P=\((q_1,\cdots,q_n)\)，\(q_i\)對應於\(\Lambda\)中第i個主對角元，其值為特征向量\(q_i\)對應的特征值

\[A=Q\Lambda Q^T=(q_1,\cdots,q_n)\mathrm{diag}(\lambda_1,\cdots,\lambda_n)(q_1,\cdots,q_n)^T \]

\[A=(q_1,\cdots,q_n)(\lambda_1q_1,\cdots,\lambda_nq_n)^T=\sum_{i=1}^n \lambda_iq_iq_i^T \]

正定矩陣

定義：正定矩陣是特殊的實對稱矩陣，其所有特征值均大於0。\(x\neq 0\)時，對應的二次型\(x^TAx\)恆大於0

判斷實對稱陣是否正定的辦法：

• 1、求出所有特征值，判斷是否都大於0

• 2、n個K階順序主子式均大於0

• 3、通過倍加操作將A化為階梯型矩陣U后，判斷U的所有主元(必須有n個主元)是否全部大於0。更一般地，大於0的主元個數=大於0的特征值個數，小於的主元個數=小於0的特征值個數，

二十七、復數矩陣和快速傅里葉變換

復數向量的內積與模長

對於n維復數列向量\(x,y\in \mathbb{C}^n\)，其內積被定義為：

\[x\cdot y=\bar x^T y \]

定義\(\bar x^T=x^H\)(hermitian)，則：

\[x\cdot y=x^Hy \]

相應地，n維復數列向量\(x\in \mathbb{C}^n\)的模長被定義為：

\[\|x\|=\sqrt{x·x}=\sqrt{x^Hx} \]

復數矩陣、埃爾米特矩陣與酉矩陣

由復數構成的矩陣稱為復數矩陣

類似之前的定義，也有

\[\bar A^T=A^H \]

對於復數方陣\(A\in \mathbb{C^{n\times n}}\)，若：

\[A^H=A \]

則稱A為埃爾米特矩陣(Hermitian Matrix)，可見，埃爾米特矩陣中，與對角線對稱的\(a_{i,j}=\bar a_{j,i}\)

若方陣\(A\)有\(A^HA=I\)，則稱其為酉矩陣，對應於實矩陣里的正交矩陣。類似正交矩陣，在酉矩陣中，任意兩個列向量是正交的，\(\alpha^H\beta=0\)，同樣地，任意兩個行向量也是正交的

快速傅里葉變換

傅里葉矩陣

\[F_n=\begin{pmatrix}1 & 1 & 1 & \cdots & 1\\ 1 & w & w^2 & \cdots & w^{n-1}\\ 1 & w^2 & w^4 & \cdots & w^{2(n-1)}\\ \vdots & \vdots & \vdots & \ddots & \vdots\\ 1 & w^{n-1} & w^{2(n-1)} & \cdots & w^{(n-1)^2} \end{pmatrix}_{n \times n}\]

其中，\((F_n)_{i,j}=w^{ij}\)，注意傅里葉矩陣的下標是從0開始的，即i,j=0,...,n-1

\(\{1,w,\cdots,w^{n-1}\}\)為n階單位根，\(w^n=1,w=e^{i\frac {2\pi} n }=\cos(\frac {2\pi} n)+i\sin(\frac {2\pi} n)\)(歐拉公式)

傅里葉矩陣是酉矩陣，\(F_n^HF_n=I\)

給出n維列向量x，x的離散傅里葉變換(DFT)可表示為\(F_nx\)，離散傅里葉逆變換為\(F_n^{-1}x\)

正常情況下，這個乘法過程時間復雜度為\(O(n^2)\)

矩陣分解實現快速傅里葉變換

令\(D_n=\mathrm{diag}(1,w,\cdots,w^{n-1})\)，則：

\[F_{2n}= \begin{pmatrix}I & D_n\\I & -D_n\end{pmatrix} \begin{pmatrix}F_n & 0\\0 & F_n\end{pmatrix}P_{2n}\]

其中P為奇偶置換陣，將奇數列(行)排在前面，然后將偶數列(行)排在后面。例如：

\[P_4=\begin{pmatrix} 1 &&&\\ &&1&\\ &1&&\\ &&&1 \end{pmatrix}\]

則

\[F_{2n}x= \begin{pmatrix}I & D_n\\I & -D_n\end{pmatrix} \begin{pmatrix}F_n & 0\\0 & F_n\end{pmatrix}P_{2n}x\]

設\(P_{2n}x=(\alpha^T,\beta^T)^T\),其中\(\alpha,\beta\in \mathbb{R}^n\)

\[F_{2n}x= \begin{pmatrix}I & D_n\\I & -D_n\end{pmatrix} \begin{pmatrix}F_n & 0\\0 & F_n\end{pmatrix}(P_{2n}x)\]

\[=\begin{pmatrix}I & D_n\\I & -D_n\end{pmatrix} \begin{pmatrix}F_n & 0\\0 & F_n\end{pmatrix}\begin{pmatrix}\alpha\\ \beta\end{pmatrix}\]

\[=\begin{pmatrix}I & D_n\\I & -D_n\end{pmatrix} \begin{pmatrix}F_n\alpha & 0\\0 & F_n\beta\end{pmatrix}\]

求解\(\begin{pmatrix}I & D_n\\I & -D_n\end{pmatrix} \begin{pmatrix}F_n\alpha & 0\\0 & F_n\beta\end{pmatrix}\)時，計算量最大的是計算\(F_n\alpha,F_n\beta\)，這兩個計算完成后，其余的n階矩陣乘法都是在\(O(n)\)時間內完成(因為I和D都是對角陣)

FFT的關鍵是用這種矩陣分解的方法，遞歸下去計算\(F_{n}\alpha,F_{n}\beta\)

設計算\(F_nx\)的時間復雜度是\(f(n)\)，則

\[f(2n)=f(n)+n \]

\[f(2n)=n+\frac n 2+\frac n 4+\cdots +1= O(nlogn) \]

二十七、正定矩陣和最小值

正定矩陣的定義和判定方法，在國內教材中都有，這里不再贅述

正定二次型的幾何意義

對於二次型\(f(x_1,x_2)=x^TAx\)而言，若A正定，則所有點\((x_1,x_2,f(x_1,x_2))\)在直角坐標系中構成了一個開口向上，過原點的碗型(表明當\(x_1,x_2\)不同時為0時，二次型取值一定大於0)。

若在這個碗型，z軸為1處作一個平行於xoy面的平面，可以截得一個橢圓：\(ax_1^2+bx_1x_2+cx_2^2=1\)

Hessian矩陣與極小值判定

定義n元函數f的Hessian矩陣為

當\(H(f)\)正定時，\(f(x)\)在該點取得極小值

正定二次型與主軸定理

對於正定二次型\(x^TAx\)，\(x^TAx=1\)是一個橢圓形(x為三維向量則是橢球體)，\(A\)的n個線性無關的特征向量代表該幾何圖形(橢圓、橢球...)的n條主軸的方向，每個特征向量對應的特征值是該主軸的長度

通過將二次型化為標准型\(x^T(P^TAP)x=1\)可以使得該幾何圖形通過正交變換P，使得所有主軸與各個坐標系平行

將二次型先化為標准形，再化為規范形\(x^T(P^TAP)x=1\)，則可以使得該幾何圖形通過線性變換P，變為標准的圓(球體,...)

二十九、相似矩陣與Jordan標准型

相似矩陣

對於方陣A,B，若存在可逆陣\(P\)使得\(P^{-1}AP=B\)，則\(A\sim B\)

注意，若方陣A,B中有一個不可對角化，則A,B有完全相同的特征值也不能得到A和B相似。

只有當A,B有完全相同的特征值，都可對角化為相同的\(\Lambda\)時，才能說A,B相似

Jordan標准型

設n階方陣A有K個線性無關的特征向量\(x_1,\cdots,x_K\)，對應的特征值為\(\lambda_1,\cdots,\lambda_K\)，則一定存在可逆陣\(P\)使得

\[P^{-1}AP= \begin{pmatrix} J_1&&\\ &J_2&\\ &&\ddots\\ &&&J_K \end{pmatrix}=J\]

J稱為A的Jordan標准型，其中\(J_i\)是一個Jordan塊，為方陣，對應於K個線性無關的特征向量里的第i個，其中的\(\lambda_i\)是該特征向量對應的特征值:

\[J_i=\begin{pmatrix} \lambda_1&1&\\ &\lambda_2&1\\ &&\ddots&\ddots\\ &&&\lambda_{r_i} \end{pmatrix}\]

當K=n時，每個Jordan塊都是一階的，J就是對角陣了

若J中對應\(\lambda_i\)的Jordan塊有t個，則\(\dim V_{\lambda_i}=t\)

三十、奇異值分解

任意m*n矩陣A都可以通過奇異值分解(singularly valueable decomposition,SVD)被分解為：

\[A=U\Sigma V^T \]

其中，U是m階正交陣，V是n階正交陣，\(U=(u_1,\cdots,u_m)\),\(V=(v_1,\cdots,v_n)\)，\(\Sigma\)是\(m\times n\)對角陣

\((u_1,\cdots,u_m)\),\((v_1,\cdots,v_n)\)都是標准正交基，A矩陣可以讓n維空間\(C(v_1,\cdots,v_n)\)投射到r(A)維空間中，即，將一組標准正交基\((v_1,\cdots,v_n)\)投射到\((Av_1,\cdots,Av_n)\)，而\(\dim (AV)= r(A)\)

當\(i\neq j\)時，\(v_i\cdot v_j=v_i^Tv_j=0\)，若\(v_i\)為\(A^TA\)的單位化的特征向量，則

\[v_i^TA^TAv_j=v_i^T\lambda_jv_j=\lambda_jv_i^Tv_j=0 \]

從而，

\[Av_i\cdot Av_j=(Av_i)^TAv_j=v_i^TA^TAv_j=0 \]

表明新基是正交基，再將投射后的新的正交基單位化：

\[u_i=\frac {Av_i}{\|Av_i\|}=\frac {Av_i}{\sqrt{v_i^TA^TAv_i}}=\frac {Av_i}{\sqrt{\lambda_iv_i^Tv_i}}=\frac {Av_i}{\sqrt {\lambda_i}} \]

所以\(Av_i=\sigma_i u_i,\sigma_i=\sqrt {\lambda_i}\)，用矩陣表示：

\[AV=U \Sigma \]

當\(r(A)<n\)時，對A的\(v_1,\cdots,v_{r(A)}\)，用A的零空間的n-r(A)個基\(v_{r(A)+1},\cdots,v_n\)擴充成n個正交基

計算過程

\[(A^TA)_{n\times n}=V\Sigma^TU^TU\Sigma V^T=V\Sigma^T\Sigma V^T \]

\(r(A^TA)=r(A)\)。

對n階對角陣\(A^TA\)用正交陣對角化，便可得到\(V=(v_1,\cdots,v_n)\)，約定，\(v_1,\cdots,v_{r(A)}\)對應的特征值非零，對角陣\(\Lambda=\Sigma^T\Sigma=\mathrm{diag}(\lambda_1,\cdots,\lambda_{r(A)},0,\cdots,0)\)

從而\(\lambda_i=\sigma_i^2,\sigma_i=\sqrt {\lambda_i}\)被稱為奇異值，由於\(\Lambda\)有r(A)個非零元素，因此奇異值有r(A)個

\[\Sigma= \begin{pmatrix} \sigma_1\\ & \ddots\\ && \sigma_{r(A)}\\ &&& 0 \end{pmatrix}_{m\times n}\]

\[(AA^T)_{m\times m}=U\Sigma V^TV\Sigma^T U^T=U\Sigma \Sigma^T U^T \]

對\(AA^T\)用正交陣對角化，得到\(U=(u_1,\cdots,u_m)\)，這里\(\Lambda=\Sigma\Sigma^T=\mathrm{diag}(\lambda_1,\cdots,\lambda_{r(A)},0,\cdots,0)\)

當\(\lambda_i\neq 0\)時\(u_i\)對應的\(\lambda_i\)應該與\(v_i\)對應的\(\lambda_i\)一致

SVD分解

\[A=U\Sigma V^T=(u_1,\cdots,u_m) \begin{pmatrix} \sigma_1\\ & \ddots\\ && \sigma_{r(A)}\\ &&& 0 \end{pmatrix}_{m\times n} \begin{pmatrix} v_1^T\\ \vdots\\ v_n^T \end{pmatrix} \]

\[=(u_1,\cdots,u_m) \begin{pmatrix} \sigma_1v_1^T\\ \vdots\\ \sigma_{r(A)}v_{r(A)}^T\\ 0\\ \vdots\\ 0 \end{pmatrix} \]

\[=\sum_{i=1}^{r(A)}\sigma_iu_iv_i^T \]

從而將矩陣分解成了r(A)個秩1矩陣之和，每個秩1矩陣可以用一個奇異值\(\sigma_i\)、兩個向量\(u_i,v_i\)表示。若這里保留奇異值最大的前k個\(\sigma_i,u_i,v_i\)，則可以進一步壓縮這個矩陣