1. 矩陣乘法
如果矩陣 \(B\) 的列為 \(b_1, b_2, b_3\)，那么 \(EB\) 的列就是 \(Eb_1, Eb_2, Eb_3\)。
\[\boldsymbol{EB = E[b_1 \quad b_2 \quad b_3] = [Eb_1 \quad Eb_2 \quad Eb_3]} \]
\[E\space(B 的第\space j \space列) =EB \space的第 \space j \space列 \]
在消元的過程中，如果遇到了某一行主元的位置為 0，而其下面一行對應的位置不為 0，我們就可以通過行交換來繼續進行消元。
如下的矩陣 \(P_{23}\) 可以實現將向量或者矩陣的第 2 、 3 行進行交換。
\[P_{23} = \begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix} \]
\[\begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix} \begin{bmatrix} 1 \\ \boldsymbol 3\\\boldsymbol 5\end{bmatrix} = \begin{bmatrix} 1 \\ \boldsymbol 5\\\boldsymbol 3\end{bmatrix} \]
\[\begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix} \begin{bmatrix} 2&4&1 \\ \boldsymbol0&\boldsymbol0&\boldsymbol3\\0&6&5 \end{bmatrix} = \begin{bmatrix} 2&4&1 \\0&6&5 \\\boldsymbol0&\boldsymbol0&\boldsymbol3\end{bmatrix} \]
置換矩陣 \(P_{ij}\) 就是將單位矩陣的第 \(i\) 行和第 \(j\) 行進行互換，當交換矩陣乘以另一個矩陣時，它的作用就是交換那個矩陣的第 \(i\) 行和第 \(j\) 行。
在消元的過程中，方程兩邊的系數 \(A\) 和 \(b\) 都要進行同樣的變換，這樣，我們可以把 \(b\) 作為矩陣 \(A\) 的額外的一列，然后，就可以用消元矩陣 \(E\) 乘以這個增廣的矩陣一次性完成左右兩邊的變換。
\[E[A \space \boldsymbol b] = [EA \space E \boldsymbol b] \]
\[\begin{bmatrix} 1&0&0 \\ -2&1&0\\0&0&1\end{bmatrix} \begin{bmatrix} 2&4&-2&\boldsymbol 2 \\ 4&9&-3&\boldsymbol 8 \\-2&-3&7&\boldsymbol 10 \end{bmatrix} = \begin{bmatrix} 2&4&-2&\boldsymbol 2 \\ 0&1&1&\boldsymbol 4 \\-2&-3&7&\boldsymbol 10 \end{bmatrix} \]
如果矩陣 \(A\) 有 \(n\) 列， \(B\) 有\(n\) 行，那么我們可以進行矩陣乘法 \(AB\)。
假設矩陣 \(A\) 有 \(m\) 行 \(n\) 列，矩陣 \(B\) 有 \(n\) 行 \(p\) 列，那么 \(AB\) 是 \(m\) 行 \(p\) 列的。
\[(m×n)(n×p)(m×p) \quad \begin{bmatrix} \boldsymbol{m \space 行} \\{n \space 列} \end{bmatrix} \begin{bmatrix} n \space 行 \\\boldsymbol{p \space 列} \end{bmatrix} \begin{bmatrix} \boldsymbol{m \space 行} \\\boldsymbol{p \space 列}\end{bmatrix} \]
矩陣乘法的第一種理解方式就是一個一個求取矩陣 \(AB\) 位於 \((i, j)\) 處的元素
\[(AB)_{ij} = A \space 的第 \space i \space 行與\space B \space的第\space j \space 列的內積 = \sum a_{ik}b_{kj} \]
第二種理解，矩陣 \(AB\) 的列是 \(A\) 的列的線性組合
\[{AB = A[b_1 \quad b_2 \cdots b_p] = [Ab_1 \quad Ab_2 \cdots Ab_p]} \]
第三種理解，矩陣 \(AB\) 的行是 \(B\) 的行的線性組合
\[AB = \begin{bmatrix}a_1 \\ a_2 \\ \vdots \\a_m\end{bmatrix}B = \begin{bmatrix}a_1 B \\ a_2B \\ \vdots \\a_m B\end{bmatrix} \]
第四種理解，矩陣 \(AB\) 是所有 \(A\) 的列與 \(B\) 的行的乘積的和
\[AB = [a_1 \quad a_2 \cdots a_n] \begin{bmatrix}b_1 \\ b_2 \\ \vdots \\b_n\end{bmatrix} = \sum_{i=1}^{n} a_i b_i \]
其中，一列乘以一行稱為外積（outer product），(n×1)(1×n)=(n, n)，結果為一個 n×n 的矩陣。
\[\begin{bmatrix}2&7 \\ 3&8 \\ 4&9\end{bmatrix} \begin{bmatrix}1&6 \\ 0&0\end{bmatrix} = \begin{bmatrix}2 \\ 3 \\ 4\end{bmatrix}[1 \quad 6] + \begin{bmatrix}7 \\ 8 \\ 9\end{bmatrix}[0 \quad 0] = \begin{bmatrix}2&12 \\ 3&18 \\ 4&24\end{bmatrix} \]
結合律：\(\boldsymbol{A(BC) = (AB)C}\)
交換律：\(\boldsymbol{(A+B)C = AC+BC}\)
交換律：\(\boldsymbol{A(B+C) = AB+AC}\)
\[A^p = \underbrace{AA\cdots A}_{\text{p 個}} \]
\[A^pA^q = A^{(p+q)} \]
\[(A^p)^q = A^{pq} \]
\[A^0=I \]
矩陣還可以被划分為小塊，其中每個小塊都是一個更小的矩陣。
如果對矩陣 \(A\) 的列的划分和對矩陣 \(B\) 的行的划分正好匹配，那么每個塊之間就可以進行矩陣乘法。
一種特殊的划分就是矩陣 \(A\) 的每個小塊都是 \(A\) 的一列，矩陣 \(B\) 的每個小塊都是 \(B\) 的一行，這種情況就是我們上面說的矩陣相乘的第四種理解。
同樣地，在消元的時候，我們也可以按塊對系數矩陣進行消元。
2. 矩陣的逆
假設 \(A\) 是一個方陣，如果存在一個矩陣 \(A^{-1}\)，使得
\[A^{-1}A = I \quad 並且 \quad AA^{-1} = I \]
那么，矩陣 \(A\) 就是可逆的，\(A^{-1}\) 稱為 \(A\) 的逆矩陣。
逆矩陣的逆就是進行和原矩陣相反的操作。消元矩陣 \(E_{21}\) 的作用是第二個方程減去第一個方程的 2 倍。
\[E_{21} = \begin{bmatrix} 1&0&0 \\ -2&1&0\\0&0&1\end{bmatrix} \]
其逆矩陣 \(E_{21}^{-1}\) 的作用則是第二個方程加上第一個方程的 2 倍。
\[E_{21}^{-1} = \begin{bmatrix} 1&0&0 \\ 2&1&0\\0&0&1\end{bmatrix} \]
\[B(AC) = (BA)C \to BI = IC \to B=C \]
\[若 \space A^{-1} \space 存在，則\space x = A^{-1} \boldsymbol 0 = \boldsymbol 0 \]
- 一個 2×2 的矩陣是可逆的，當且僅當 \(ad-bc\) 非零。
- 一個對角化矩陣如果其對角線上元素非零，那么其有逆矩陣。
如果矩陣 \(A\) 和矩陣 \(B\) 都是可逆的，那么它們的乘積 \(AB\) 也是可逆的。
\[(AB)^{-1} = B^{-1}A^{-1} \]
\[(AB)^{-1}AB = B^{-1}A^{-1}AB = B^{-1}IB = I \]
同樣地，針對三個或更多矩陣的乘積，有
\[(ABC)^{-1} = C^{-1}B^{-1}A^{-1} \]
3. 高斯－若爾當消元法（Gauss-Jordan Elimination）求矩陣的逆
我們可以通過消元法來求解矩陣 \(A\) 的逆矩陣。思路是這樣的，假設 \(A\) 是一個 3×3 的矩陣，那么我們可以建立三個方程來分別求出 \(A^{-1}\) 的三列。
\[AA^{-1} = A[x_1 \quad x_2 \quad x_3] = [e_1 \quad e_2 \quad e_3]=\begin{bmatrix} 1&0&0 \\ 0&1&0\\0&0&1\end{bmatrix} \]
\[\begin{alignedat}{2} Ax_1 = e_1 \\ Ax_2 = e_2\\ Ax_3 = e_3 \end{alignedat}\]
而高斯－若爾當消元法則是一次性求解出這些方程，之前我們求解一個方程的時候，將 \(b\) 作為 \(A\) 的一列組成增廣矩陣，而現在我們則是把 \(e_1、e_2、e_3\) 三列一起放入 \(A\) 中形成一個增廣矩陣，然后進行消元。
到這里，我們已經得到了一個下三角矩陣 \(U\)，高斯就會停在這里然后用回帶法求出方程的解，但若爾當將會繼續進行消元，直到得到簡化階梯形式（reduced echelon form）。
最后，我們將每行都除以主元得到新的主元都為 1，此時，增廣矩陣的前一半矩陣就是 \(I\)，而后一半矩陣就是 \(A^{-1}\)。
我們用分塊矩陣就可以很容易地理解高斯－若爾當消元法，消元的過程就相當於乘以了一個 \(A^{-1}\) 將 \(A\) 變成了 \(I\)，將 \(I\) 變成了 \(A^{-1}\)。
\[A^{-1}[A \quad I] = [I \quad A^{-1}] \]
獲取更多精彩，請關注「seniusen」!
