3.1 矩陣乘法
- 行列內積
有 $m \times n$ 矩陣 $\boldsymbol{A}$ 和 $n \times p$ 矩陣 $\boldsymbol{B}$（ $\boldsymbol{B}$ 的總行數必須與 $\boldsymbol{A}$ 的總列數相等），兩矩陣相乘有 $\boldsymbol{A} \boldsymbol{B} = \boldsymbol{C}$ ，$\boldsymbol{C}$ 是一個 $m \times p$ 矩陣，對於 $\boldsymbol{C}$ 矩陣中的第 $i$ 行第 $j$ 列元素 $c_{ij}$ ，有：\[c_{ij} = row_i \cdot column_j = \sum_{k=1}^{n} a_{ik}b_{kj}\] 其中 $a_{ik}$ 是 $\boldsymbol{A}$ 矩陣的第 $i$ 行第 $k$ 列元素，$b_{kj}$ 是 $\boldsymbol{B}$ 矩陣的第 $k$ 行第 $j$ 列元素。
可以看出 $c_{ij}$ 其實是 $\boldsymbol{A}$ 矩陣第 $i$ 行點乘 $\boldsymbol{A}$ 矩陣第 $j$ 列$\left[ \begin{array}{c}\vdots \\row_i \\\vdots\end{array} \right]\left[ \begin{array}{ccc}\cdots & column_j & \cdots\end{array} \right]=\left[ \begin{array}{ccc}\mbox{ } & \vdots & \mbox{ } \\\cdots & c_{ij} & \cdots \\\mbox{ } & \vdots & \mbox{ }\end{array} \right]$ 。
- 整列相乘
在 線性代數筆記第01講 方程組的幾何解釋 中我們知道了如何計算矩陣乘以向量，而整列相乘就是使用這種線性組合的思想：
$\begin{eqnarray*}
& &
\begin{bmatrix}
\boldsymbol{A}_{col1} & \boldsymbol{A}_{col2} & \cdots & \boldsymbol{A}_{coln}
\end{bmatrix}
\begin{bmatrix}
\cdots & b_{1j} & \cdots \\
\cdots & b_{2j} & \cdots \\
\cdots & \vdots & \cdots \\
\cdots & b_{nj} & \cdots
\end{bmatrix} \\
&=&
\begin{bmatrix}
\cdots & (b_{1j}\boldsymbol{A}_{col1} + b_{2j}\boldsymbol{A}_{col2} + \cdots + b_{nj}\boldsymbol{A}_{coln}) & \cdots
\end{bmatrix}
\end{eqnarray*}$
上面的運算為$\boldsymbol{B}$ 矩陣的第 $j$ 個列向量右乘矩陣 $\boldsymbol{A}$ ，求得的結果就是 $\boldsymbol{C}$ 矩陣的第 $j$ 列。即 $\boldsymbol{C}$ 矩陣的第 $j$ 列是$\boldsymbol{A}$ 矩陣的列向量以 $\boldsymbol{B}$ 矩陣的第 $j$ 列作為系數所求得的線性組合：$\boldsymbol{C}_{colj}=b_{1j}\boldsymbol{A}_{col1} + b_{2j}\boldsymbol{A}_{col2} + \cdots + b_{nj}\boldsymbol{A}_{coln}$ 。
- 整行相乘
類似的，也可以利用行向量線性組合的思想：
$\begin{eqnarray*}
& &
\begin{bmatrix}
\vdots & \vdots & \vdots & \vdots \\
a_{i1} & a_{i2} & \cdots & a_{in} \\
\vdots & \vdots & \vdots & \vdots
\end{bmatrix}
\begin{bmatrix}
\boldsymbol{B}_{row1} \\
\boldsymbol{B}_{row2} \\
\vdots \\
\boldsymbol{B}_{rown}
\end{bmatrix} \\
&=&
\begin{bmatrix}
\vdots \\
(a_{i1}\boldsymbol{B}_{row1} + a_{i2}\boldsymbol{B}_{row2} + \cdots + a_{in}\boldsymbol{B}_{rown}) \\
\vdots
\end{bmatrix}
\end{eqnarray*}$
上面的運算為$\boldsymbol{A}$ 的第 $i$ 個行向量左乘矩陣 $\boldsymbol{B}$ ，求得的結果就是 $\boldsymbol{C}$ 矩陣的第 $i$ 行。即 $\boldsymbol{C}$ 矩陣的第 $i$ 行是$\boldsymbol{B}$ 矩陣的行向量以 $\boldsymbol{A}$ 矩陣的第 $i$ 行作為系數所求得的線性組合:$\boldsymbol{C}_{rowi}=a_{i1}\boldsymbol{B}_{row1} + a_{i2}\boldsymbol{B}_{row2} + \cdots + a_{in}\boldsymbol{B}_{rown}$ 。
- 列乘以行
用 $\boldsymbol{A}$ 矩陣的列乘以 $\boldsymbol{B}$ 矩陣的行，得到的矩陣相加即可：
$\begin{eqnarray*}
& &
\begin{bmatrix}
\boldsymbol{A}_{col1} & \boldsymbol{A}_{col2} & \cdots & \boldsymbol{A}_{coln}
\end{bmatrix}
\begin{bmatrix}
\boldsymbol{B}_{row1} \\
\boldsymbol{B}_{row2} \\
\vdots \\
\boldsymbol{B}_{rown}
\end{bmatrix} \\
&=&
\boldsymbol{A}_{col1}\boldsymbol{B}_{row1} + \boldsymbol{A}_{col2}\boldsymbol{B}_{row2}
+ \cdots + \boldsymbol{A}_{coln}\boldsymbol{B}_{rown}
\end{eqnarray*}$ 。
注意，$\boldsymbol{A}_{coli}\boldsymbol{B}_{rowi}$ 是一個$m \times 1$ 向量乘以一個 $1 \times p$ 向量，其結果是一個 $m \times p$ 矩陣，而所有的 $m \times p$ 矩陣之和就是計算結果。
- 分塊乘法
$ \left[ \begin{array}{c|c}
\boldsymbol{A}_1 & \boldsymbol{A}_2 \\
\hline
\boldsymbol{A}_3 & \boldsymbol{A}_4
\end{array} \right]
\left[ \begin{array}{c|c}
\boldsymbol{B}_1 & \boldsymbol{B}_2 \\
\hline
\boldsymbol{B}_3 & \boldsymbol{B}_4
\end{array} \right]
=
\left[ \begin{array}{c|c}
\boldsymbol{A}_1 \boldsymbol{B}_1 + \boldsymbol{A}_2 \boldsymbol{B}_3 & \boldsymbol{A}_1 \boldsymbol{B}_2 + \boldsymbol{A}_2 \boldsymbol{B}_4 \\
\hline
\boldsymbol{A}_3 \boldsymbol{B}_1 + \boldsymbol{A}_4 \boldsymbol{B}_3 & \boldsymbol{A}_3 \boldsymbol{B}_2 + \boldsymbol{A}_4 \boldsymbol{B}_4
\end{array} \right] $
在分塊合適的情況下，可以簡化運算。
3.2 矩陣的逆
首先，並不是所有的方陣都有逆；而如果逆存在，則有$\boldsymbol{A}^{-1}\boldsymbol{A} = \boldsymbol{I} = \boldsymbol{A}\boldsymbol{A}^{-1}$ 。對於這些有逆的矩陣，我們稱其為非奇異的或可逆的。
教授這里提前劇透，對於方陣，左逆和右逆是相等的；但是對於非方陣（長方形矩陣），其左逆不等於右逆。
我們先來看一個奇異（不可逆）矩陣：$\boldsymbol{A} = \begin{bmatrix}1 & 2 \\3 & 6\end{bmatrix}$。
- 在后面將要學習的行列式中，會發現這個矩陣的行列式為 $0$ 。
- 觀察這個方陣，我們如果用另一個矩陣乘 $\boldsymbol{A}$ ，則得到的結果矩陣中的每一列應該都是$\begin{bmatrix} 1 \\ 3 \end{bmatrix}$ 和$\begin{bmatrix} 2 \\ 6 \end{bmatrix}$ 的線性組合，所以我們不可能從$\boldsymbol{A}\boldsymbol{B}$ 的乘積中得到單位矩陣 $\boldsymbol{I}$ 。
- 另一種判定方法，如果存在非零向量 $\boldsymbol{x}$ 使得$\boldsymbol{A}\boldsymbol{x} = 0$ ，則矩陣 $\boldsymbol{A}$ 不可逆。我們來用上面的矩陣為例：$\begin{bmatrix}1 & 2 \\3 &6\end{bmatrix}\begin{bmatrix} 3 \\ -1 \end{bmatrix}=\begin{bmatrix} 0 \\ 0 \end{bmatrix}$
證明：如果對於非零向量的 $\boldsymbol{x}$ 仍有$\boldsymbol{A}\boldsymbol{x} = 0$ ，且 $\boldsymbol{A}$ 有逆 $\boldsymbol{A}^{-1}$ ，則 $\boldsymbol{A}^{-1}\boldsymbol{A}\boldsymbol{x} = 0$ ，即 $\boldsymbol{x} = 0$ ，與題設矛盾，得證。
現在來看看什么矩陣有逆，設$\boldsymbol{A}=\begin{bmatrix}1 & 3 \\2 & 7\end{bmatrix}$ ，我們來求 $\boldsymbol{A}^{-1}$ 。$\begin{bmatrix}1 & 3 \\2 & 7\end{bmatrix}\begin{bmatrix}a & b \\c & d\end{bmatrix}=\begin{bmatrix}1 & 0 \\0 & 1\end{bmatrix}$ ，使用列向量線性組合的思想，我們可以說$\boldsymbol{A}$ 乘以 $\boldsymbol{A}^{-1}$ 的第 $j$ 列，能夠得到 $\boldsymbol{I}$ 的第 $j$ 列，這時我會得到一個關於列的方程組：
\[ \left\{ \begin{eqnarray*}\begin{bmatrix} 1 & 3 \\ 2 & 7 \end{bmatrix} \begin{bmatrix} a \\ c \end{bmatrix} & = & \begin{bmatrix} 1 \\ 0 \end{bmatrix} \\\begin{bmatrix} 1 & 3 \\ 2 & 7 \end{bmatrix} \begin{bmatrix} b \\ d \end{bmatrix} & = & \begin{bmatrix} 0 \\ 1 \end{bmatrix}\end{eqnarray*} \right. \]
3.3 Gauss-Jordan 法求矩陣的逆
接下來介紹高斯-若爾當（Gauss-Jordan）方法，該方法可以一次處理所有的方程：
- 構造這樣一個矩陣$\left[\begin{array}{cc|cc}1 & 3 & 1 & 0 \\2 & 7 & 0 & 1\end{array}\right]$ ，接下來用消元法將左側變為單位矩陣；
- $\left[\begin{array}{cc|cc}1 & 3 & 1 & 0 \\2 & 7 & 0 & 1\end{array}\right]\xrightarrow{row_2 - 2row_1}\left[\begin{array}{cc|cc}1 & 3 & 1 & 0 \\0 & 1 & -2 & 1\end{array}\right]\xrightarrow{row_1 - 3row_2}\left[\begin{array}{cc|cc}1 & 0 & 7 & -3 \\0 & 1 & -2 & 1\end{array}\right]$ ；
- 於是，我們就將矩陣從$[ \begin{array}{c|c} \boldsymbol{A} & \boldsymbol{I} \end{array}]$ 變為$[ \begin{array}{c|c} \boldsymbol{I} & \boldsymbol{A}^{-1} \end{array}]$ 。
高斯-若爾當法的本質是使用消元矩陣 $\boldsymbol{E}$ ，對 $\boldsymbol{A}$ 進行操作，$\boldsymbol{E} [ \begin{array}{c|c} \boldsymbol{A} & \boldsymbol{I} \end{array} ]$ ，利用一步步消元有$\boldsymbol{E}\boldsymbol{A}=\boldsymbol{I}$ ，進而得到$[ \begin{array}{c|c} \boldsymbol{I} & \boldsymbol{E} \end{array} ]$ 。其實這個消元矩陣 $\boldsymbol{E}$ 就是 $\boldsymbol{A}^{-1}$ ，而高斯-若爾當法中的 $\boldsymbol{I}$ 只是負責記錄消元的每一步操作，待消元完成，逆矩陣就自然出現了。