矩陣論 - 4 - LU分解

LU分解

乘積的逆

乘積\(AB\)的逆為\(B^{-1}A^{-1}\)

\((AB) \cdot (B^{-1}A^{-1}) = A(BB^{-1})A^{-1} = AA^{-1}=I\)

乘積的轉置

乘積\(AB\)的轉置為\(B^TA^T\)。對於任何可逆的矩陣，有\(A^T\)的逆為\((A^{-1})^T\)，即$(A^T){-1} =(A^{-1})T $。（逆和轉置的運算可以交換順序）

\[\begin{aligned}(A \cdot A^{-1})^{T} & = I^{T}\\(A^{-1})^{T} \cdot A^{T} & = I\\\textrm{則} A^{T} \textrm{的逆矩陣為} & (A^{-1})^{T}\end{aligned} \]

LU分解

LU分解：將矩陣\(A\)分解成2個矩陣（\(L\) 和 \(U\)）的乘積。

where ‘LU’ stands for ‘lower upper’

\(L\) - 下三角陣，\(U\) - 上三角陣（下三角陣下三角不全為0，上三角反之）。

經過一系列初等變換， \(A\) → \(E_{21}A\) → \(E_{31}E_{21}A\) → ··· → \(U\)，在2D下就是下面的樣子：

\(\begin{aligned}E_{21}A = U \\\ \begin{bmatrix}1&0\\-4&1\end{bmatrix}\begin{bmatrix}2&1\\8&7\end{bmatrix}=\begin{bmatrix}2&1\\0&3\end{bmatrix}\end{aligned}\)

將上面式子化為\(A=LU\)形式：

\(\begin{aligned}E_{21}A = U \\ E_{21}^{-1}E_{21}A = E_{21}^{-1} U\\A=E_{21}^{-1}U \end{aligned}\)

即：

\(\begin{aligned}A = LU \\\ \begin{bmatrix}2&1\\8&7\end{bmatrix}=\begin{bmatrix}1&0\\4&1\end{bmatrix}\begin{bmatrix}2&1\\0&3\end{bmatrix}\end{aligned}\)

計算代價

1. 將\(a_{11}\)作為主元，需要的運算量約為\(n^2\)。

\[x\begin{bmatrix}a_{11} & a_{12} & \cdots & a_{1n} \\a_{21} & a_{22} & \cdots & a_{2n} \\\vdots & \vdots & \ddots & \vdots \\a_{n1} & a_{n2} & \cdots & a_{nn} \\\end{bmatrix}\underrightarrow{消元}\begin{bmatrix}a_{11} & a_{12} & \cdots & a_{1n} \\0 & a_{22} & \cdots & a_{2n} \\0 & \vdots & \ddots & \vdots \\0 & a_{n2} & \cdots & a_{nn} \\\end{bmatrix} \]

2. 以此類推，接下來每一步計算量約為\((n-1)^2、(n-2)^2、\cdots、2^2、1^2\)。

3. 將 \(A\) 變換為 \(LU\) 的總運算量應為\(O(n^2+(n-1)^2+\cdots+2^2+1^2)\)，即\(O(\frac{n^3}{3})\)。

行交換-置換矩陣

置換矩陣(Permutation Matrix)，\(n\)階方陣的置換矩陣有\(\binom{n}{1}=n!\)個，3階方陣的置換矩陣有6個：

\[\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \\ \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0 \\ \end{bmatrix} \begin{bmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \\ \end{bmatrix} \begin{bmatrix} 0 & 0 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \\ \end{bmatrix} \]

為了交換兩行，我們在左邊乘以一個置換矩陣。

例如右乘 $$P_{12} = \begin{bmatrix}
0 & 1 & 0 \
1 & 0 & 0 \
0 & 0 & 1 \
\end{bmatrix}$$以交換3 × 3矩陣的第一和第二行。

有一個比較重要的性質是：任何置換矩陣的逆等於它的轉置，即\(P^{-1} = P^T\)。

reference

[1] textbook

[2] mit18.06學習筆記