優雅的線性代數系列一



說道線性代數, 我們自然就想到矩陣, 那我們該如何理解矩陣呢?

矩陣與線性變換

若一個變換 \(L\) 滿足以下兩條性質

\[\begin{align*} L(\vec v+ \vec w) &= L(\vec v) + L(\vec w) &(1) \text{"可加性"} \\ L(c\vec v) &= c L(\vec v) \quad\quad\ &(2) \text{"成比例"} \end{align*} \]

則稱 \(L\) 是線性的.

由線性變換成比例性質可知，線性變換不會改變坐標系的原點, 即零向量的線性變換結果還是零向量.

我們來看看矩陣與線性變換的關系

\[A(v+w) = Av + Aw \Leftrightarrow L(\vec v+ \vec w) = L(\vec v) + L(\vec w)\\ A(cv) = c(Av) \Leftrightarrow L(c\vec v) = c L(\vec v) \]

可以看出矩陣完全滿足線性變換的要求, 將矩陣看做線性變換, 這會給我們理解很多線性問題帶來好處.

\(\bigstar\) 如果想知道線性變換對於一個輸入向量空間有什么影響, 我們只需要知道該線性變換對該輸入空間的基有什么影響.

假設 n 維輸入空間 \(R^n\) 的基為 \(v1, v_2, \dots,v_n\)

\[\begin{eqnarray*} \forall \space v &=& c_1v_1 + c_2v_2 + \cdots + c_nv_n= [v_1,v_2,\cdots,v_n]\begin{bmatrix} c_1\\ c_2\\ \vdots \\c_n \end{bmatrix} \\ T(v) &=& c_1T(v_1) + c_2T(v_2) + \cdots + c_nT(v_n) \\ &=& c_1Av_1 + c_2Av_2 + \cdots + c_nAv_n \\ &=& [Av_1,Av_2,\cdots,Av_n]\begin{bmatrix} c_1\\ c_2\\ \vdots \\c_n \end{bmatrix} \end{eqnarray*} \]

其中 \(c =\begin{bmatrix} c_1\\ c_2\\ \vdots \\c_n \end{bmatrix}\) 即為 \(v\) 在該基下的坐標.

下面復合線性變換的會給出例子直觀的看看.

復合線性變換

我們可以通過線性變換具有順序性的的角度理解下面矩陣乘積的性質

\[A B \not= BA \\ ( A B) C = A ( B C) \]

\(\bigstar\) 矩陣的乘積 $ A B $ 可以看成是 復合線性變換. 復合線性變換可以看成兩個線性變換有序疊加. 下面通過一個例子說明.

考慮 向量 $\vec v =[2, 3]^T $, 首先將該向量逆時針旋轉 \(90^{\circ}\), 然后進行剪切變換.

\[\begin{align*} A &= \begin{bmatrix} 1&1 \\ 0&1\end{bmatrix},B=\begin{bmatrix} 0&-1 \\ 1&0\end{bmatrix} \\ C &=AB=\begin{bmatrix} 1&-1 \\ 1&0\end{bmatrix} \end{align*} \]

由於在二維標准正交坐標系中, 基向量組成矩陣是單位矩 I, BI = B, 所以 矩陣 B 的列向量 就是基向量的經過線性變換 B 的變換結果.

向量 $ v =[2, 3]^T $



線性變換B: 向量 $ u = B v =[-3, 2]^T$, 其中 \(B=\begin{bmatrix} 0&-1 \\ 1&0\end{bmatrix}\)



線性變換A: 向量 $ w = Au = [-1,2]^T$, 其中 \(A = \begin{bmatrix} 1&1 \\ 0&1\end{bmatrix}\)



可以看出基向量的線性變換結果就是矩陣 A, B 的對應的列向量.

我們再來看看復合線性變換C 的線性變換

復合線性變換 C, 向量 \(p = Cv\), 其中 \(C=\begin{bmatrix} 1&-1 \\ 1&0\end{bmatrix}\)



向量\(v\) 變換結果 \(w = p\)。

逆矩陣和逆變換

\(b= Ax\) 表明矩陣 A 將向量 x 線性映射到 向量 b, 那如何將向量 b 變回到之前的向量 x 呢? 我們只需要進行逆變換就好了, 而逆變換對應的矩陣就是逆矩陣.

\[\begin{align*} b &= A x \\ \quad x &= A^{-1} b, \space if \space \exists A^{-1} \end{align*} \]

\(|A| \not= {0}\) 矩陣的行列式不為零表示線性變換不會將高維映射到低維, 即不會損失信息, 所以可以通過逆變換得到變換之前的向量.

還是 復合線性變換的例子 其中

\[\begin{align*} 變換前向量 \quad v &= [2, 3]^T \\ 變換后向量 \quad w &= [-1,2]^T \\ C &= \begin{bmatrix} 1&-1 \\ 1&0\end{bmatrix} \\ C^{-1} &= \begin{bmatrix} 0&1 \\ -1&1\end{bmatrix} \\ w &=Cv \\ v & = C^{-1}w \end{align*} \]



可逆矩陣的定義為

\[AA^{-1}=I \\ A^{-1}A=I \]

求逆運算 \(Gussian{\rm -}Jordan\) 消元法

\[\begin{align*} & \space E\left[ A \space\vdots \space I \right] = [I: E] \quad 増廣矩陣\\ &\because EA = I\\ &\therefore E = A^{-1} \end{align*} \]

\(🎵\) 非奇異矩陣雜談

可逆矩陣又稱為非奇異矩陣, 不可逆矩陣稱為奇異矩陣

Q: “奇異”一詞通常指奇特的，為什么稱可逆矩陣為“非奇異” ？它們有什么奇異之處？

A: 數學上， “奇異”（singular）一詞用來形容破壞了某種優良性質的數學對象。
對於矩陣來說， “可逆”是一個好的性質， 不可逆的矩陣就稱為“奇異”矩陣。 比如矩陣的不可逆，等價於行列式為零或非滿秩，等價於某個線性變換退化. 所有的矩陣都可看作線性變換. 這個奇異性就很好理解了， 變換完丟失了東西的情況都是不好的， 也就是奇異的。

行列式的幾何意義

二維坐標中, 線性變換 \(\vec A\) 的行列式 \(|A|\) 的絕對值 \(\lambda\) 表示變換后區域的面積是變換前的 \(\lambda\) 倍; 如果行列式的值 \(det \vec A\)為負數表示這樣的變換改變了空間的定向. 在三維空間中, 線性變換 \(\vec A\) 的行列式 \(|A|\) 的值可以理解為體積的變化.

初等變換

初等矩陣左乘矩陣 \(\longrightarrow\) 行變換

\(row_2 - 3 row_1\)

\[\begin{bmatrix} 1 & 0 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{bmatrix}=\begin{bmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \end{bmatrix} \]

初等矩陣右乘矩陣 \(\longrightarrow\) 列變換

\[\begin{bmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{bmatrix}\begin{bmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{bmatrix}=\begin{bmatrix} 2 & 1 & 1 \\ 8 & 3 & 1 \\ 4 & 0 & 1 \end{bmatrix} \]

向量空間

n維向量空間 \(\mathbb R^n\)

給定域F，F 上的向量空間 V 是一個集合，其上定義了兩種二元運算：

1. 向量加法： 把 V 中的兩個元素u和v映射到V中另一個元素，記作 u + v；
2. 標量乘法： 把 F 中的一個元素 a 和 V 中的一個元素 u 變為 V 中的另一個元素，記作 a ·u。

\(\bigstar\) 零向量一定在向量空間

向量子空間

線性代數中子空間的定義

設W為數域F上的n維線性空間V的子集合（即W∈V），若W中的元素滿足
（1）若任意的α，β∈W，則α+β∈W；（對加法是封閉的）
（2）若任意的α∈W，λ∈F，則λα∈W。（對數乘也是封閉的）
（3）子空間中必須包含“0向量”
則容易證明：W也構成數域F上的線性空間。稱W是線性空間V的一個線性子空間，簡稱子空間。

比如說 3維向量空間 \(R^3\) 的子空間

1. \(R^3\)
2. 可以是一條過原點(0,0,0)的平面;
3. 可以是一條過原點(0,0,0)的直線;
4. 零向量空間(只包含零向量)

\[A = \begin{bmatrix} 1&3\\2&3\\4&1\end{bmatrix} \]

如果 U, V 是向量空間 P 的子空間, 那么 \(S = U\cap V\)也是 P 的子空間

\[\forall a, b \in S \because S = U\cap V, \therefore a, b \in U , V \]

在 \(U, V\) 中, \(a, b\) 符合加法封閉性和乘法封閉性, 即 \(a, b\) 的張成的向量空間同時在 \(U 和 V\) 中, 所以 \(a, b\) 的張成的向量空間在 \(S\) 中, 即 \(S\) 空間中符合加法封閉性和乘法封閉性, 所以 \(S\) 也是 \(P\) 的子空間.

正交子空間

\(\square\) 向量子空間正交

① 若內積空間中兩向量的內積為0，則它們正交。

② 若內積空間中的向量 \(v\) 與子空間A中的每個向量都正交，那么這個向量和子空間 A 正交。

③ 若內積空間的子空間 A 和 B 滿足一者中的每個向量都與另一者正交，那么它們互為正交子空間。

(正交子空間只有一個交點, 即零點)

矩陣空間

矩陣是一種特殊的向量的空間, 滿足加法封閉性和數乘封閉性
比如說全部 \(R^{n \times n}\) 矩陣組成的矩陣空間(matrix space), 滿足加法封閉性和數乘封閉性
其子空間包括 三角矩陣, 對稱矩陣, 對角矩陣

那么矩陣空間 \(M\) 的基是什么?

就 3 維矩陣空間而言, 維度 dim = 9, 基為

\[\underbrace{\begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix}\begin{bmatrix} 0 & 1 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix}\begin{bmatrix} 0 & 0 & 1 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix}{\huge \dots} \begin{bmatrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{bmatrix}}_{9個} \]

3維對稱矩陣空間 U 的維度為 dim = 6
3維三角矩陣空間 V 的維度為 dim = 6
3維對角矩陣空間 S 的維度為 dim = 3, \(S = U \cap V\)

\(U \cup V\) 不是向量空間.所以不考慮; \(U + V\)表示向量空間 U, V 的基向量張成的空間, 這里 \(U + V\)就是3維矩陣空間(二者的基組合可以得到3維矩陣空間的基), 維度為 9.

介紹另一個向量空間,

\[\frac{d^2y}{dx^2} +y=0 \\ \Rightarrow y = c_1\sin x + c_2 \cos x, \forall c_1, c_2 \in R \]

這里 \(\sin x, \cos x\) 是二街常微分方程解空間的基向量, 雖然 \(\sin x, \cos x\) 並不那么像向量, 而是函數. 我們可以看到線性代數的知識的應用.

四個基本子空間

 

\(\blacksquare\) 矩陣 \(A^{m \times n}\) 的行空間和零空間正交, 行空間和零空間是將整個 n 維空間一分為二的兩個相互正交的子空間; 稱為 n 維空間的正交補, 即零空間包含所有正交於行空間的向量.

\(\bigstar\) 正交補並不意味着二者並集等於整個 n 維空間, 比如二維空間中垂直的兩條直線, 互為正交補, 卻二者並集只是二維空間的一小部分而已.

零空間是方程 \(Ax=0\) 解

\[\begin{gather*} Ax = \begin{bmatrix} a_1^T \\ a_2^T \\ \vdots \\ a_m^T \end{bmatrix}x = \begin{bmatrix} a_1^T x \\ a_2^T x \\ \vdots \\ a_m^T x \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}, x \in N(A) \end{gather*} \]

所以矩陣 A 的行空間和 A 的零空間正交.



 

矩陣乘以列向量是矩陣列的線性組合, 結果為列向量;
行向量乘以矩陣是矩陣行的線性組合, 結果為行向量.

下面可一個簡單的 矩陣乘以列向量 的例子

\[\begin{bmatrix} \color{red}a &b \\ \color{red}c& d \end{bmatrix} \begin{bmatrix} x\\y \end{bmatrix} =\underbrace{ x \begin{bmatrix}\color{red}{ a\\ c} \end{bmatrix} + y\begin{bmatrix} b\\ d \end{bmatrix} }_{直觀的部分在這里} \]

矩陣\(A^{m\times n}\)的四個基本子空間

① 列空間 column space \(C(A) \subset R^m, R^m的子空間\)
② 行空間 row space \(C(A^T) \subset R^n\)
③ 零空間 null space \(N(A) \subset R^n\)
④ 左零空間 null space of \(A^T\) \(N(A^T) \subset R^m\)

矩陣\(A^{m\times n}\)的行空間和列空間具有相同的秩 rank(A)

類型	表示	向量父空間	維度
列子空間	C(A)	\(R^m\)	rank(A)
行子空間	C(\(A^T\))	\(R^n\)	rank(A)
零子空間	N(A)	\(R^n\)	n - rank(A)
左零子空間	N(\(A^T\))	\(R^m\)	m - rank(A)

其中,

\[dim(C(A)) + dim(N(A^T)) = m \\ dim(C(A^T)) + dim(N(A)) = n \\ \]

初等行變換(左乘)不會改變行空間, 但會改變列空間, 行變換只是對行進行了線性組合
初等列變換(右乘)不會改變列空間, 但會改變行空間, 列變換只是對列進行了線性組合

\[A=\begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \end{bmatrix}\underrightarrow { 行變換} \begin{bmatrix} 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}=R \]

顯然, 列空間 \(C(A)\not= C(R)\), 行空間 \(C(A^T) = C(R^T)\)



為什么\(N(A^T)\)叫做左零空間?

方程

\[A^T \bf x=0 \]

方程的解 \(x\) 在 A 的零空間 \(N(A)\) 里

\[A^T \bf y=0 \\ (A^T y)^T = 0^T \\ \Rightarrow y^T A = O^T \]

方程的解 \(y\) 在矩陣 \(A\) 的左邊, 這就是為什么 \(N(A^T)\) 稱為在矩陣 A 的左零空間.

列空間

矩陣 A 的列向量的所有線性組合構成了 \(R^3\) 的子空間, 稱之為列空間.
方程

\[Ax = b \]

有解, 當且僅當 b 在 A 的列空間中.

零空間

方程

\[A \bf x = \bf 0 \]

的解, 又稱之為零空間. 能稱之為向量空間的原因就是

\[A \bf x =\bf 0 \\ A \bf {x^*} = \bf 0 \\ \Rightarrow A (\bf x + \bf {x^*}) = A \bf x + A \bf {x^*} = \bf 0 \\ A (\bf\lambda x) = \lambda A\bf x = \bf 0 \\ \]

滿足加法封閉性和數乘封閉性.

比如

\[\begin{bmatrix} 1 & 1 & 2 \\ 2 & 1 & 3 \\ 3 & 1 & 4 \\ 4 & 1 & 5 \end{bmatrix}\begin{bmatrix} x_{ 1 } \\ x_{ 2 } \\ x_{ 3 } \end{bmatrix}=\begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \end{bmatrix} \]

方程 \(A \bf x= \bf 0\)的解(零)空間為 \(\quad \bf x = c\begin{bmatrix} 1 \\ 1 \\ - 1 \end{bmatrix},\quad \forall c \in R\).

除了 \(\bf b\) 是零向量, 方程 \(Ax = b\) 的解不構成向量空間(顯然零向量不在解中)

四個子空間的基

列空間, 我們將其化為最簡行階梯型矩陣, 列空間的維數等於rank(A) = 行階梯型矩陣的主元個數 = 基向量的個數,

我們找 rank(A) 個線性無關的列作為基向量即可.

列空間的維數等於行空間的維數, 所以我們找 rank(A) 個線性無關的行向量作為基, 就能求出行空間的基.

方程 \(A\bf x=0\) 的零空間之前求過. 我們可以在求零空間的同時求出左零空間, 不過我們需要多做一點工作.

回顧求逆運算 \(Gussian\)-\(Jordan\) 消元法

\[\begin{align*} & \space E\left[ A \space\vdots \space I \right] = [I: E] \quad 増廣矩陣\\ &\because EA = I\\ &\therefore E = A^{-1} \end{align*} \]

雖然這里我們的 A 並不一定是方陣, 不過我們依然可以使用 \(Gussian\)-\(Jordan\) 消元法記錄行變換的過程.

\[\begin{align*} & \space E\left[ A \space\vdots \space I \right] = [R: E] \\ \end{align*} \]

\(R\) 為行階梯型矩陣, \([R: E]\) 中記錄了矩陣 \(A \rightarrow R\) 的變換過程.

\[\begin{eqnarray*} [A \vdots I] &=&\left[ \begin{matrix} 1 & 2 & 2 & 2 {\space \large \mid\space} 1&0&0\\ 2 & 4 & 6 & 7{\space \large \mid\space} 0&1&0 \\ 3 & 6 & 8 & 9 {\space \large \mid\space} 0&0&1\end{matrix} \right] \\ \Downarrow \\ [R\vdots E] &=& \begin{bmatrix} 1 & 2 & 2 & 2 {\space \large \mid\space} \quad \space 1&0&0 \\ 0 & 0 & 2 & 3 {\space \large \mid\space}-2&1&0 \\ 0 & 0 & 0 & 0 {\space \large \mid\space}-1&-1&1\end{bmatrix} \\ \end{eqnarray*} \]

矩陣 \(R\) 最后一行為 0, 是變換矩陣 \(E\) 最后一行向量與矩陣 A 乘積的結果, \(y^TA = 0^T\), 所以該行向量是左零空間的基向量. R 矩陣一共有 m - rank(A) 個零行. 故左零空間的維數是 m - rank(A). 上述矩陣秩為2, 所以左零空間維數為 \(3 - 2 = 1\), 矩陣 A 的 左零空間 為:

\[\bf y = c\begin{bmatrix} -1\\-1\\1\end{bmatrix}, \forall c\in R \]

線性相關性

\(\square\) 給定向量組 \(A: a_1, a_2,\cdots,a_m\)存在不全為零的數 \(k_1, k_2,\cdots, k_m,\) 使得

\[k_1a_1+k_2a_2+\cdots+k_ma_m = 0 \]

則稱向量組 A 是線性相關的, 否則稱它為線性無關.

\(\square\) 矢量空間的一組元素中，若沒有矢量可用有限個其他矢量的線性組合所表示，則稱為線性無關或線性獨立(linearly independent)，反之稱為線性相關(linearly dependent)

\(\square\)\(m 個 n 維向量組, \space 當維數小於向量個數時, 一定線性相關\)

\(\square\) 向量組 \(A: a_1, a_2,\cdots,a_m\)線性無關, 向量組 \(A: a_1, a_2,\cdots,a_m, a_{m+1}\)線性相關, 則向量 b 必能由向量組 A 線性表示, 且表示式惟一.

\(square\) 空間 \(S\)由向量組 \(A: a_1, a_2,\cdots,a_m\) 所張成, 那么空間 \(S\) 包含向量組所有的線性組合. 這里並不要求向量組 A 是線性無關的.

\[\downarrow \]

\(\square\) 說向量組 \(A: a_1, a_2,\cdots,a_n\)是空間 \(S\) 的基, 則向量組 A 具有如下特征

\[\begin{gather} &向量組 A& \quad {線性無關} \tag {9.1} \\ &向量組 A& \quad 張成向量空間 S \tag{9.2} \end{gather} \]

且向量空間 \(R^n\) 基向量的個數等於 \(n\), 即空間的維數.

齊次方程組的解

\(\square\) 齊次方程組 \(Ax=0\) 的解由矩陣 A 的列向量的線性相關性決定. A 的列向量的線性相關, 方程有無窮解; A 的列向量的線性無關, 方程只有零解.

消元法求解齊次方程組

\[\begin{eqnarray*} A = \begin{bmatrix} 1 & 2 & 2 & 2 \\ 2 & 4 & 6 & 8 \\ 3 & 6 & 8 & 10 \end{bmatrix} \\ \rightarrow \begin{bmatrix} 1 & 2 & 2 & 2 \\ 0 & 0 & 2 & 4 \\ 0 & 0 & 0 & 0 \end{bmatrix} \\ \rightarrow \begin{bmatrix} 1 & 2 & 0 & -2 \\ 0 & 0 & 1 & 2 \\ 0 & 0 & 0 & 0 \end{bmatrix} \\ \end{eqnarray*} \]

對於矩陣 \(A_{m\times n}\), 把行最簡型中 r 個非零行的非零首元對應的未知數作為主元, 其余 n - r 個元素作為自由變量

\[\begin{cases} \begin{align*} x_1 + 2x_2 \quad\quad - 2x_4 &= 0 \\ \quad \quad \quad x_3+2x_4 &= 0 \end{align*} \end{cases} \]

\((x_3,x4 {取任意值}), 令 x2 = c1, x4 = c2, c1,c2 \in R\), 則

\[\begin{cases} \begin{eqnarray*} x_1 &=& -2c1 + 2c2 \\ x_2 &=& \quad \space \space c1 \\ x_3 &=& \quad\quad \space-2c2 \\ x_4 &=& \quad\quad \quad\quad c2 \end{eqnarray*} \end{cases} \]

所以 \(A\bf x = bf 0\) 的解(零)空間為

\[\bf x = c1[-2, 1, 0,0]^T + c2[2,0,-2,1]^T \]