方程組的幾何解釋
對於如下方程組：\(\begin{cases}2x&-&y&=0\\-x&+&2y&=3\end{cases}\)
矩陣圖像
將上述方程組寫作矩陣形式有\(\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)，通常我們把第一個矩陣稱為系數矩陣（coefficient matrix）\(A\)，將第二個矩陣稱為向量\(x\)，將第三個矩陣稱為向量\(b\)，於是線性方程組可以表示為\(Ax=b\)。
行圖像
行圖像從矩陣的 row 看起，對於每一個 row 來說，在 2D 中可以決定一條直線，在 3D 中決定一個平面。
上述方程組用圖像表示如下，即直角坐標系中兩直線相交的情況：
列圖像
列圖像從 column 看起，形成了列向量的線性組合（linear combination），因此在 2D 和 3D 中都是向量，只不過2者之間相差一個維度而已
上述方程組可表示為：\(x\begin{bmatrix}2\\-1\end{bmatrix}+y\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)（將第一個向量稱作 \(col_1\)，第二個向量稱作 \(col_2\)，以表示第一列向量和第二列向量）。
要使得上式成立，需要第一個向量加上兩倍的第二個向量，即\(1\begin{bmatrix}2\\-1\end{bmatrix}+2\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)。（藍色+紅色虛線，三角形定則）。
\(col_1,col_2\)的某種線性組合得到了向量 \(b\)，\(col_1,col_2\)的所有線性組合將鋪滿整個平面。
如何求解 \(Ax=b\)
對於 \(Ax=b\)，可以明確的是，這是一個乘法（Matrix Multiplication）運算（上述例子中是矩陣乘以一個向量）
- 列向量線性組合 \(\begin{bmatrix}2&5\\1&3\end{bmatrix}\begin{bmatrix}1\\2\end{bmatrix}=1\begin{bmatrix}2\\1\end{bmatrix}+2\begin{bmatrix}5\\3\end{bmatrix}=\begin{bmatrix}12\\7\end{bmatrix}\)
- 向量內積 \(\begin{bmatrix}2&5\end{bmatrix}\cdot\begin{bmatrix}1&2\end{bmatrix}^T=12,\ \begin{bmatrix}1&3\end{bmatrix}\cdot\begin{bmatrix}1&2\end{bmatrix}^T=7\)
教授建議使用第一種方法，將\(Ax\)看做\(A\)列向量的線性組合。
線性無關
對於任意的 \(b\)，是否都能求解 \(Ax=b\)？
用列向量線性組合的觀點闡述就是，列向量的線性組合能否覆蓋整個空間？（可能是xy-plane，也可能xyz-plane）
對應到三維列圖像中，三個向量在同一個平面上（線性相關），形如\(col_3=col_1+col_2\)，他們的線性組合也一定都在這個平面。如果 \(b\) 在該平面內，則有解；若不再該平面內，則這三個列向量就無法構造出 \(b\)。
這種情形稱為奇異（singular）、矩陣不可逆。
If the answer is “no”, we say that A is a singular matrix. In this singular case its column vectors are linearly dependent; all linear combinations of those vectors lie on a point or line (in two dimensions) or on a point, line or plane (in three dimensions). The combinations don’t fill the whole space.
reference
[1] textbook
[2] mit18.06學習筆記