3.1 矩阵乘法
- 行列内积
有 $m \times n$ 矩阵 $\boldsymbol{A}$ 和 $n \times p$ 矩阵 $\boldsymbol{B}$（ $\boldsymbol{B}$ 的总行数必须与 $\boldsymbol{A}$ 的总列数相等），两矩阵相乘有 $\boldsymbol{A} \boldsymbol{B} = \boldsymbol{C}$ ，$\boldsymbol{C}$ 是一个 $m \times p$ 矩阵，对于 $\boldsymbol{C}$ 矩阵中的第 $i$ 行第 $j$ 列元素 $c_{ij}$ ，有：\[c_{ij} = row_i \cdot column_j = \sum_{k=1}^{n} a_{ik}b_{kj}\] 其中 $a_{ik}$ 是 $\boldsymbol{A}$ 矩阵的第 $i$ 行第 $k$ 列元素，$b_{kj}$ 是 $\boldsymbol{B}$ 矩阵的第 $k$ 行第 $j$ 列元素。
可以看出 $c_{ij}$ 其实是 $\boldsymbol{A}$ 矩阵第 $i$ 行点乘 $\boldsymbol{A}$ 矩阵第 $j$ 列$\left[ \begin{array}{c}\vdots \\row_i \\\vdots\end{array} \right]\left[ \begin{array}{ccc}\cdots & column_j & \cdots\end{array} \right]=\left[ \begin{array}{ccc}\mbox{ } & \vdots & \mbox{ } \\\cdots & c_{ij} & \cdots \\\mbox{ } & \vdots & \mbox{ }\end{array} \right]$ 。
- 整列相乘
在 线性代数笔记第01讲 方程组的几何解释 中我们知道了如何计算矩阵乘以向量，而整列相乘就是使用这种线性组合的思想：
$\begin{eqnarray*}
& &
\begin{bmatrix}
\boldsymbol{A}_{col1} & \boldsymbol{A}_{col2} & \cdots & \boldsymbol{A}_{coln}
\end{bmatrix}
\begin{bmatrix}
\cdots & b_{1j} & \cdots \\
\cdots & b_{2j} & \cdots \\
\cdots & \vdots & \cdots \\
\cdots & b_{nj} & \cdots
\end{bmatrix} \\
&=&
\begin{bmatrix}
\cdots & (b_{1j}\boldsymbol{A}_{col1} + b_{2j}\boldsymbol{A}_{col2} + \cdots + b_{nj}\boldsymbol{A}_{coln}) & \cdots
\end{bmatrix}
\end{eqnarray*}$
上面的运算为$\boldsymbol{B}$ 矩阵的第 $j$ 个列向量右乘矩阵 $\boldsymbol{A}$ ，求得的结果就是 $\boldsymbol{C}$ 矩阵的第 $j$ 列。即 $\boldsymbol{C}$ 矩阵的第 $j$ 列是$\boldsymbol{A}$ 矩阵的列向量以 $\boldsymbol{B}$ 矩阵的第 $j$ 列作为系数所求得的线性组合：$\boldsymbol{C}_{colj}=b_{1j}\boldsymbol{A}_{col1} + b_{2j}\boldsymbol{A}_{col2} + \cdots + b_{nj}\boldsymbol{A}_{coln}$ 。
- 整行相乘
类似的，也可以利用行向量线性组合的思想：
$\begin{eqnarray*}
& &
\begin{bmatrix}
\vdots & \vdots & \vdots & \vdots \\
a_{i1} & a_{i2} & \cdots & a_{in} \\
\vdots & \vdots & \vdots & \vdots
\end{bmatrix}
\begin{bmatrix}
\boldsymbol{B}_{row1} \\
\boldsymbol{B}_{row2} \\
\vdots \\
\boldsymbol{B}_{rown}
\end{bmatrix} \\
&=&
\begin{bmatrix}
\vdots \\
(a_{i1}\boldsymbol{B}_{row1} + a_{i2}\boldsymbol{B}_{row2} + \cdots + a_{in}\boldsymbol{B}_{rown}) \\
\vdots
\end{bmatrix}
\end{eqnarray*}$
上面的运算为$\boldsymbol{A}$ 的第 $i$ 个行向量左乘矩阵 $\boldsymbol{B}$ ，求得的结果就是 $\boldsymbol{C}$ 矩阵的第 $i$ 行。即 $\boldsymbol{C}$ 矩阵的第 $i$ 行是$\boldsymbol{B}$ 矩阵的行向量以 $\boldsymbol{A}$ 矩阵的第 $i$ 行作为系数所求得的线性组合:$\boldsymbol{C}_{rowi}=a_{i1}\boldsymbol{B}_{row1} + a_{i2}\boldsymbol{B}_{row2} + \cdots + a_{in}\boldsymbol{B}_{rown}$ 。
- 列乘以行
用 $\boldsymbol{A}$ 矩阵的列乘以 $\boldsymbol{B}$ 矩阵的行，得到的矩阵相加即可：
$\begin{eqnarray*}
& &
\begin{bmatrix}
\boldsymbol{A}_{col1} & \boldsymbol{A}_{col2} & \cdots & \boldsymbol{A}_{coln}
\end{bmatrix}
\begin{bmatrix}
\boldsymbol{B}_{row1} \\
\boldsymbol{B}_{row2} \\
\vdots \\
\boldsymbol{B}_{rown}
\end{bmatrix} \\
&=&
\boldsymbol{A}_{col1}\boldsymbol{B}_{row1} + \boldsymbol{A}_{col2}\boldsymbol{B}_{row2}
+ \cdots + \boldsymbol{A}_{coln}\boldsymbol{B}_{rown}
\end{eqnarray*}$ 。
注意，$\boldsymbol{A}_{coli}\boldsymbol{B}_{rowi}$ 是一个$m \times 1$ 向量乘以一个 $1 \times p$ 向量，其结果是一个 $m \times p$ 矩阵，而所有的 $m \times p$ 矩阵之和就是计算结果。
- 分块乘法
$ \left[ \begin{array}{c|c}
\boldsymbol{A}_1 & \boldsymbol{A}_2 \\
\hline
\boldsymbol{A}_3 & \boldsymbol{A}_4
\end{array} \right]
\left[ \begin{array}{c|c}
\boldsymbol{B}_1 & \boldsymbol{B}_2 \\
\hline
\boldsymbol{B}_3 & \boldsymbol{B}_4
\end{array} \right]
=
\left[ \begin{array}{c|c}
\boldsymbol{A}_1 \boldsymbol{B}_1 + \boldsymbol{A}_2 \boldsymbol{B}_3 & \boldsymbol{A}_1 \boldsymbol{B}_2 + \boldsymbol{A}_2 \boldsymbol{B}_4 \\
\hline
\boldsymbol{A}_3 \boldsymbol{B}_1 + \boldsymbol{A}_4 \boldsymbol{B}_3 & \boldsymbol{A}_3 \boldsymbol{B}_2 + \boldsymbol{A}_4 \boldsymbol{B}_4
\end{array} \right] $
在分块合适的情况下，可以简化运算。
3.2 矩阵的逆
首先，并不是所有的方阵都有逆；而如果逆存在，则有$\boldsymbol{A}^{-1}\boldsymbol{A} = \boldsymbol{I} = \boldsymbol{A}\boldsymbol{A}^{-1}$ 。对于这些有逆的矩阵，我们称其为非奇异的或可逆的。
教授这里提前剧透，对于方阵，左逆和右逆是相等的；但是对于非方阵（长方形矩阵），其左逆不等于右逆。
我们先来看一个奇异（不可逆）矩阵：$\boldsymbol{A} = \begin{bmatrix}1 & 2 \\3 & 6\end{bmatrix}$。
- 在后面将要学习的行列式中，会发现这个矩阵的行列式为 $0$ 。
- 观察这个方阵，我们如果用另一个矩阵乘 $\boldsymbol{A}$ ，则得到的结果矩阵中的每一列应该都是$\begin{bmatrix} 1 \\ 3 \end{bmatrix}$ 和$\begin{bmatrix} 2 \\ 6 \end{bmatrix}$ 的线性组合，所以我们不可能从$\boldsymbol{A}\boldsymbol{B}$ 的乘积中得到单位矩阵 $\boldsymbol{I}$ 。
- 另一种判定方法，如果存在非零向量 $\boldsymbol{x}$ 使得$\boldsymbol{A}\boldsymbol{x} = 0$ ，则矩阵 $\boldsymbol{A}$ 不可逆。我们来用上面的矩阵为例：$\begin{bmatrix}1 & 2 \\3 &6\end{bmatrix}\begin{bmatrix} 3 \\ -1 \end{bmatrix}=\begin{bmatrix} 0 \\ 0 \end{bmatrix}$
证明：如果对于非零向量的 $\boldsymbol{x}$ 仍有$\boldsymbol{A}\boldsymbol{x} = 0$ ，且 $\boldsymbol{A}$ 有逆 $\boldsymbol{A}^{-1}$ ，则 $\boldsymbol{A}^{-1}\boldsymbol{A}\boldsymbol{x} = 0$ ，即 $\boldsymbol{x} = 0$ ，与题设矛盾，得证。
现在来看看什么矩阵有逆，设$\boldsymbol{A}=\begin{bmatrix}1 & 3 \\2 & 7\end{bmatrix}$ ，我们来求 $\boldsymbol{A}^{-1}$ 。$\begin{bmatrix}1 & 3 \\2 & 7\end{bmatrix}\begin{bmatrix}a & b \\c & d\end{bmatrix}=\begin{bmatrix}1 & 0 \\0 & 1\end{bmatrix}$ ，使用列向量线性组合的思想，我们可以说$\boldsymbol{A}$ 乘以 $\boldsymbol{A}^{-1}$ 的第 $j$ 列，能够得到 $\boldsymbol{I}$ 的第 $j$ 列，这时我会得到一个关于列的方程组：
\[ \left\{ \begin{eqnarray*}\begin{bmatrix} 1 & 3 \\ 2 & 7 \end{bmatrix} \begin{bmatrix} a \\ c \end{bmatrix} & = & \begin{bmatrix} 1 \\ 0 \end{bmatrix} \\\begin{bmatrix} 1 & 3 \\ 2 & 7 \end{bmatrix} \begin{bmatrix} b \\ d \end{bmatrix} & = & \begin{bmatrix} 0 \\ 1 \end{bmatrix}\end{eqnarray*} \right. \]
3.3 Gauss-Jordan 法求矩阵的逆
接下来介绍高斯-若尔当（Gauss-Jordan）方法，该方法可以一次处理所有的方程：
- 构造这样一个矩阵$\left[\begin{array}{cc|cc}1 & 3 & 1 & 0 \\2 & 7 & 0 & 1\end{array}\right]$ ，接下来用消元法将左侧变为单位矩阵；
- $\left[\begin{array}{cc|cc}1 & 3 & 1 & 0 \\2 & 7 & 0 & 1\end{array}\right]\xrightarrow{row_2 - 2row_1}\left[\begin{array}{cc|cc}1 & 3 & 1 & 0 \\0 & 1 & -2 & 1\end{array}\right]\xrightarrow{row_1 - 3row_2}\left[\begin{array}{cc|cc}1 & 0 & 7 & -3 \\0 & 1 & -2 & 1\end{array}\right]$ ；
- 于是，我们就将矩阵从$[ \begin{array}{c|c} \boldsymbol{A} & \boldsymbol{I} \end{array}]$ 变为$[ \begin{array}{c|c} \boldsymbol{I} & \boldsymbol{A}^{-1} \end{array}]$ 。
高斯-若尔当法的本质是使用消元矩阵 $\boldsymbol{E}$ ，对 $\boldsymbol{A}$ 进行操作，$\boldsymbol{E} [ \begin{array}{c|c} \boldsymbol{A} & \boldsymbol{I} \end{array} ]$ ，利用一步步消元有$\boldsymbol{E}\boldsymbol{A}=\boldsymbol{I}$ ，进而得到$[ \begin{array}{c|c} \boldsymbol{I} & \boldsymbol{E} \end{array} ]$ 。其实这个消元矩阵 $\boldsymbol{E}$ 就是 $\boldsymbol{A}^{-1}$ ，而高斯-若尔当法中的 $\boldsymbol{I}$ 只是负责记录消元的每一步操作，待消元完成，逆矩阵就自然出现了。