1 課程介紹
2-3 線性方程組
高斯消去法
交換兩行，任意行數乘，一行數乘加到另一行
==> 上三角形
==> 回代
復雜度
乘法 \(\frac {n^3} 3 + n^2 - \frac n 3\)
加法 \(\frac {n^3} 3 + \frac {n^2} 2 - \frac {5n} 6\)
Gauss-Jordan法
多了兩個步驟
- pivot變為1
- 消去pivot上面的元素
變換為單位陣
復雜度
乘法 \(\frac {n^3} 2 + \frac {n^2} 2\)
加法 \(\frac {n^3} 2 - \frac {n} 2\)
部分主元法
交換行使主元最大（絕對值）
行階梯形 定義了矩陣的秩
修改高斯消去法
每行從左到右找非零元，消去后不一定得到上三角形式
秩
- 主元pivot的數量
- 非零行的數量
- 基本列（包含主元）的數量
齊次方程
\([A|0]\)
非齊次方程
右邊含有非零數值
平凡解
x=0
[A|b] ==> E[A|b]
解的形式
x = p非齊次方程特解 + (n-r)齊次方程通解
4 矩陣代數
矩陣加法性質
標量乘法性質
共軛轉置
對稱性
矩陣乘法
不可交換
乘積的行列
\([AB]_{i*} = A_{i*}B\)
\([AB]_{*j} = AB_{*j}\)
分配律 結合律
轉置
\((AB)^T = B^TA^T\)
分塊乘法
逆矩陣
逆存在性等價描述
- rank(A) = n
- Gauss-Jordan, A –> I
- Ax = 0 ==> x =0
逆的計算
\([A|I] –-> [I|A^{-1}]\)
復雜度 \(n^3\)
\((I+cd^T)^{-1} = I - \frac {cd^T}{1+d^Tc}\)
三種基本行變換
\(E1 = I - uu^T, u = e_1 - e_2\) 交換兩行
\(E2 = I - (1-a)e_2e_2^T\) 乘上a倍
\(E3 = I +ae_3e_1^T\) 第一行a倍加到第三行
左乘：基本行變換
相似矩陣
秩相等
推論：與非奇異矩陣的乘法不改變秩
LU分解
A = LU
解方程
LUx = b
Ux = y, Ly = b
5 向量空間
定義 兩個集合 \(x\in \mathcal V, \alpha \in \mathcal F\) 兩個基本運算：加法和標量乘法
（1）加法封閉
（2）加法結合律
（3）加法交換律
（4）加法零元
（5）加法逆元
（6）數乘封閉
（7）數乘結合律
（8）數乘分配律
（9）數乘分配律
（10）單位元
子空間
是V的子集且滿足
（1）加法封閉
（6）數乘封閉
張成集合
\(\mathcal S = {v_1, v_2, …, v_r}\),
子空間 \(span\{\mathcal S \}=\{\alpha_1v_1+\alpha_2v_2+...+\alpha_rv_r\ | \alpha_i \in \mathcal F \}\)
Range Spaces值域空間
列空間
R(A)，相當於\(f(x) = Ax, A \in R^{m \times n}\)，也叫 A 的像空間(image space)
行空間，左值域
\(R(A^T)\)
Nullspace 零空間
-
\(N(A)\)
\(N(f) = \{x_{n\times 1}|Ax=0\}, A \in R^{m\times n}\)
-
\(N(A^T)\) 左零空間
\(N(g) = \{x_{m\times 1}|A^Tx=0\}, A \in R^{m\times n}\)
線性無關
A 的列構成線性無關集合
等價於
-
rank(A)=n
-
N(A) =
對角占優矩陣是非奇異的
Vandermonde Matrices
Wronski matrix
basis 基
A linearly independent spanning set for a vector space V is called a basis of V.
一組線性無關的張成集合
標准基
\(R^n\) 空間： \(\mathcal S = {e_1, e_2, …, e_n}\)
多項式：{1, x, x^2, … x^n}
{0}：空集
等價命題
- 最小的張成集合
- 最大線性無關子集
維度
等價命題
-
V 基的向量個數
-
V 最小張成集合的向量個數
-
V 最大線性無關子集的向量個數
秩
等價命題
rank(A) \(A \in R^{m \times n}\)
- 等價A的行階梯矩陣的非零行
- 行階梯矩陣主元數量
- 基本列數量
- 線性無關列數量
- 線性無關行數量
- dim R(A)
- dim R(A^T)
- n - dim N(A)
- m - dim N(A^T)
- A中最大非奇異矩陣
incidence matrix 入射矩陣
包含 m 個節點 n 條邊
每條邊對應一列中，一列中包含一組 1， -1 ，對應出點和入點
連通圖，rank(E) = m - 1
Normal Equations
\(A^TAx = A^Tb\)
\(x = (A^TA)^{-1}A^Tb\)
Rank等價定義
6 線性變換
零變換
恆等變換
線性變換 \(A \in R^{m \times n}\)
從 \(R^n ==> R^m\)
線性算子 \(A \in R^{n \times n}\)
旋轉 Q
投影 P
反射 R
有限維空間的線性變換都有矩陣表示
\(\mathcal U\) 空間的向量u 在基 \(\mathcal B = {u_1, u_2, …, u_n}\) 下表示為
\(u = \alpha_1u_1+\alpha_2u_2+...+\alpha_ru_n\)
\(\alpha_i\) 稱為 關於B的坐標 \([v]_B = (\alpha_1, \alpha_2, …, \alpha_n)^T\)
線性變換空間
\(\mathcal L(\mathcal U, \mathcal V)\) 表示所有從U變換到V的集合
\(B_{ji}(u) = \xi_jv_i\)， 其中 \((\xi_1, \xi_2, …, \xi_n)^T = [u]_B\)
-
基 \(B_L = \{B_{ji}\}_{j=1...n}^{i=1...m}\)
-
dim L(U,V) = (dim U) (dim V)
坐標矩陣表示
每個 u 在 B’ 下的坐標表示作為每一列
坐標變換轉化為矩陣乘法
\([T(u)]_{B’} = [T]_{BB’} [u]_{B}\)，其中 \([T]_{BB’}\) 為 u 經過 T 變換后在 v 下的坐標表示。
\([T]_B\) 代表 \([T]_{BB}\)，為方陣
基變換
坐標變換
相似性
\(B \simeq C\) ：存在非奇異矩陣Q，使得 \(B = Q^{-1}CQ\) 。
相似變換：\(f: R^{n\times n} \to R^{n \times n}\) ，\(f(C) = Q^{-1}CQ\) 。
不變子空間
定義
-
在變換T下的不變子空間 \(\mathcal{X \subseteq V}\), 且 \(\bold T(\mathcal X) \subseteq \mathcal X\)
-
T 這時可以作為一個線性算子，表示為 \(\bold T_{/ \mathcal X}\) 。
上三角和對角塊形式
T 是 n x n矩陣，下面的命題是等價的
- \(\mathbf{Q}^{-1} \mathbf{T Q}=\left(\begin{array}{cc} \mathbf{A}_{r \times r} & \mathbf{B}_{r \times q} \\ \mathbf{0} & \mathbf{C}_{q \times q} \end{array}\right)\) 當且僅當 Q 的前 r 列張成 T 下的不變子空間
- \(\mathbf{Q}^{-1} \mathbf{T Q}=\left(\begin{array}{cccc} \mathbf{A}_{r_{1} \times r_{1}} & \mathbf{0} & \cdots & \mathbf{0} \\ \mathbf{0} & \mathbf{B}_{r_{2} \times r_{2}} & \cdots & \mathbf{0} \\ \vdots & \vdots & \ddots & \vdots \\ \mathbf{0} & \mathbf{0} & \cdots & \mathbf{C}_{r_{k} \times r_{k}} \end{array}\right)\) 當且僅當 Q = (Q1|Q2|…|Qk)，每一個 Qi 張成 T 下的不變子空間
7-8 模和內積
Norms模--長度
模：空間幾何的概念
范數：線性代數中的概念
向量的模滿足
- 正定性 \(\|x\| \ge 0\) 當且僅當 x=0， \(\|x\| = 0\)
- 齊次性
- 三角不等式 \(\|x+y\| \le \|x\| + \|y\|\)
歐幾里得模
\(\|x\| = \sqrt{x^Tx}\)
\(\|x\| = \sqrt{x^*x}\) 復數向量
p-模
\(\|x\|_p = (\sum_{i=1}^n\|x_i|^p)^{1/p}\)
矩陣的模滿足
- 正定性
- 齊次性
- 三角不等式
- 相容性 \(\|AB\| \le \|A\| \|B\|\)
Frobenius矩陣模
\(\|A\|_F^2=\sum_{i,j}|a_{ij}|^2 = trace(A^*A)\)
矩陣2模
\(\|A\|_2 = \max_{\|x\|_2=1} \|Ax\|_2 = \sqrt {\lambda_{\max}}\) ，其中 \(\lambda\) 為 \(A^*A\) 的最大的特征值。
矩陣1模、無窮模
Inner Products內積--夾角/幾何關系
內積
標准向量內積 \(<x|y> = x^Ty\)
橢圓內積 \(<x|y> = x^*A^*Ay\)
標准矩陣內積 \(<A|B>=trace(A^TB)\)
內積空間可以定義模：
模等於內積開方
滿足平行四邊形法則，才有：
內積等於模平方 \(<*|*> = \|*\|^2\)
只有在 p=2情況下 平行四邊形法則才滿足，因此內積只能產生歐幾里得模（二模）
\(\|x+y\|^2 + \|x-y\|^2 = 2(\|x\|^2+\|y\|^2)\)
因為左邊p-模等於2* 2^(2/p)，右邊p-模恆等於4
正交
正交
\(x \perp y <==> x^Ty=0\)
角度
\(\cos \theta = \frac {<x|y>}{\|x\|\|y\|}\)
標准正交集合/規范正交基
\(<u_i|u_j> =\cases {1 \ \text{when i==j}\\ 0 \ \text{when i/= j}}\)
GramSchmidt施密特正交化
QR分解
把A寫成n列，進行施密特正交化分解
將A分解為 Q R
\(A_{m×n} = Q_{m×n}R_{n×n}\)
如果 \(A \in R^{n\times n}\) 是非奇異矩陣，Q是單位正交基，所以 \(Q^T=Q^{-1}\) 。
\(Ax = b ⇐⇒ QRx = b ⇔ Rx = Q^T b\)
改進的施密特正交化
正交矩陣
酉矩陣和正交矩陣
Unitary and Orthogonal Matrices
酉矩陣（正交矩陣） 列構成標准正交基（復數域、實數域）
\(U^∗U = I ⇐⇒ U^{−1} = U^∗, ⇐⇒ UU^∗ = I\)
與酉矩陣相乘，不改變向量的長度
\(∥Ux∥^2 = x^∗U^∗Ux = x^∗x = ∥x∥2 ∀x ∈ Cn\)
等價命題
- 行 標准正交
- 列 標准正交
- 逆等於轉置
- 不改變向量長度
單位矩陣(identity matrix) I是正交矩陣
置換矩陣是正交矩陣
初等正交投影算子
\(Q = I - uu^*\) 投影到u垂直上，其中 \(\|u\|=1\)
正交投影算子
\(P_u = \frac {uu^*}{u^*u}\) 投影到span{u}上
\(P_{u^{\perp}} = I- \frac {uu^*}{u^*u}\) 投影到u垂直上
初等鏡面反射算子/Householder變換
\(R = I-2\frac {uu^*}{u^*u}\)
性質 \(R = R^{-1}\) \((由於R^2=I)\)
Householder reduction
\(A_{m×n} = [A∗1|A∗2| · · · |A∗n]\)
首先用第一列構造鏡面反射算子：
\(R_1 = I − 2\frac {uu^∗} {u^*u}\), \(u = A_{∗1} ± µ\| A_{∗1}\|e_1\)，其中 \(\mu = \cases {1 \ ,x_1 是實數\\ x_1/|x_1| \ ,x_1是復數}\)
使得 \(R_1A_{*1} = ∓ µ\| A_{∗1}\|e_1 = (t_{11},0,\cdots,0)^T\)
平面旋轉/Givens旋轉
\(P_{ij}x\) 通過旋轉，使 \(x_j\) 的坐標值為0
任意向量，旋轉到第 i 個坐標軸上，得到 \(Px = \|x\| e_i\)， 其中 \(P = P_{in}\cdots P_{i,i+1}P{i,i-1}\cdots P_{i1}\)
互補子空間 Complementary Subspace
互補子空間
\(\mathcal {V = X+ Y}\) 並且 \(\mathcal {X\cap Y}=0\)
直和
\(\mathcal {V = X\oplus Y}\)
等價命題
- \(\mathcal {V = X\oplus Y}\)
- 任意v，有唯一x, y 使得 v = x + y
- \(B_X \cap B_Y = \emptyset\) 並且 \(B_X \cup B_Y\) 是 V 的基
投影
如果 \(\mathcal {V = X\oplus Y}\)， v = x + y
x 被稱為 v 沿 Y 到 X 上的投影
y 被稱為 v 沿 X 到 Y 上的投影
投影算子
Pv = x
性質
-
P^2 = P
-
I - P 是互補投影算子（投影到Y）
-
R(P)=N(I-P)=X R(I_P)=N(P)=Y
-
\(P = [X|0][X|Y]^{-1} = [X|Y]\left[\matrix{I \ 0 \\ 0 \ 0}\right][X|Y]^{-1}\)，其中 X, Y 分別為 \(\mathcal {X, Y}\) 的基。
滿足冪等性質的線性算子就是投影算子 P^2 = P
值零分解Range-Nullspace Decomposition –方陣
值零分解
若A是奇異的，則存在k，使得
\(R^n=R(A^k)⊕N(A^k)\)，其中 最小的 k 為 A 的 index
若A是非奇異的， 定義index(A)=0
求index
計算 A^k, A^{k+1} 秩不變
冪零矩陣 N^k = 0
核零分解 Core-Nillpotent分解
通過相似變換
\(Q^{-1}AQ = \left(\matrix{C_{r\times r} 0\\ 0 N}\right)\)，其中 rank(A^k) = r , N^k = 0
Drazin Inverse
方陣
\(A^DAA^D = A^D,AA^D = A^DA, A^{k+1}A^D = A^k\)， 其中 k = index(A)
正交分解
正交補
與 W 正交的所有向量的集合 \(W^\perp\)
正交補子空間
M 是 V 的子空間，則
\(\mathcal {V = M\oplus M^{\perp}}\)
若 \(\mathcal {V = M\oplus N}\) 並且 \(\mathcal {N \perp M}\)
那么 \(\mathcal {N = M^{\perp}}\)
垂直運算
-
\(\dim M^{\perp} = n - \dim M\)
-
\(M^{\perp ^\perp} = M\)
正交分解理論
對於任意矩陣 A，都有：
- \(R(A) ^{\perp}= N(A^T)\)
- \(N(A)^{\perp}= R(A^T)\)
- \(R^m = R(A) \oplus N(A^T)\)
- \(R^n = N(A) \oplus R(A^T)\)
矩陣的四個基本子空間
- R(A) 是行空間 \(N(A^T)\) 的正交補
- N(A) 是行空間 \(R(A^T)\) 的正交補
URV分解 – 非方陣
數值計算穩定
每個 \(A \in R^{m \times n}\) 都有 正交矩陣U， V 和非奇異矩陣 C
- U 的前 r 列是 R(A) 的標准正交基
- U 的后 m-r 列是 R(A)垂直/N(A^T) 的標准正交基
- V 的前 r 列是 N(A)垂直/R(A^T) 的標准正交基
- V 的后 n-r 列是 N(A) 的標准正交基
RPN矩陣 Range Perpendicular to Nullspace
也叫 值域對稱矩陣，EP矩陣
非奇異矩陣是平凡 RPN矩陣，零空間是 0
正規矩陣 AA* = A*A
Hermitian A=A*
對稱矩陣 A = A^T
等價命題 R(A) = R(A^T)
- \(R(A) {\perp} N(A)\)
- \(R(A)= R(A^T)\)
- \(N(A)= N(A^T)\)
- \(\mathbf{A}=\mathbf{U}\left(\begin{array}{cc} \mathbf{C}_{r \times r} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array}\right)U^{T}\)
奇異值分解
每個 \(A \in R^{m \times n}\) 都有 正交矩陣U， V 和對角矩陣 \(D=diag(\sigma_1, \sigma_2, …, \sigma_r)\)
\(\mathbf{A}=\mathbf{U}\left(\begin{array}{cc} \mathbf{D} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array}\right)_{m \times n}V^{T}\)
應用
- 對單位球變換的拉伸度量
- 線性系統敏感性分析
- 最近的 rank(k)矩陣距離 $ \min |A-B|_2$
- 整理嘈雜的數據，提取相關信息，相當於傅里葉展開
偽逆（非方陣）
滿足四條 Penrose方程
AA†A = A, A†AA† = A†, (AA†)T = AA†, (A†A)T = A†A
正交投影
每對互補子空間定義了一個投影算子
當子空間互相垂直，則為正交投影
定義
v = m + n， \(m \in M\) 並且 \(n \in M^{\perp}\)
- m 被稱為 v 到 M 上的正交投影
- \(P_{M}\) 沿着 \(M^{\perp}\) 到 M 上的投影算子
- \(P_{M}v = m\)
構造投影算子
M 是 \(\mathcal M\) 的基，則
- \(P_{M}=M(M^TM)^{-1}M^T\) , \(P_{M^{\perp}}=N(N^TN)^{-1}N^T\)
M 包含標准正交基
- \(P_M = MM^T\)
- \(P_{M} = (M|N)\left( \matrix{I_r 0 \\ 0 0}\right)(M|N)^T\)
- \(P_{M^{\perp}}=I-P_M\)
正交投影算子
投影算子P 是正交投影算子
等價命題
- \(R(P) \perp N(P)\)
- \(P^T = P\)
- \(\|P\|_2 = 1\)
最近點理論
M 是 內積空間 V 的子空間， b 是 V 的向量，M 上離 b 最近的向量是
p = PMb， b 到 M 上的正交投影
b 和 M 的正交距離：
最小平方解
等價命題
-
\(\left\|\mathbf{A \hat x} - \mathbf{b}\right\|_{2}= \min _{x \in R^n}\left\|\mathbf{Ax} - \mathbf{b}\right\|_{2}\)
-
\(A\hat x = P_{R(A)}b\)
-
\(A^TA\hat x = A^Tb\)
-
\(\hat x \in A^{+}b + N(A)\)
9 矩陣行列式
定義
\(\det (\bold A) = \sum _p \sigma(p)a_{1p_1}a_{2p_2}\cdots a_{np_n}\)，其中 \(\sigma(p) = \cases {+1\ p是偶排列\\-1\ p是奇排列 }\)
行列式表示也可以用 \(|\bold A|\)
行操作對行列式的影響
兩行交換：det(B) = - det(A)
某行數乘：det(B) = a det(A)
i 行 a 倍加到 j 行：det(B) = det(A)
可逆性與行列式
- 非奇異 <==> det(A) /= 0
- 奇異 <==> det(A) = 0
乘積法則
det(AB) = det(A)3det(B) 所有n x n矩陣
\(\det(\matrix{A \ B \\ 0 \ D}) = \det(A) \det(D)\) A，D為方陣
行列式計算
PA = LU
\(\det(A) = \sigma u_{11}u_{22}\cdots u_{nn}\)，\(\sigma\) 根據行交換次數奇偶性確定
行列式微分
\(A_{n\times n} = [a_{ij}(t)]\) 的元素是 t 的可微函數
\(\frac {d(\det(A)) } {dt} = \det(D_1) + \det(D_2) + \cdots + det(D_n)\)，其中 \(D_i\) 表示 A 的第 i 行被該行的微分替代。
秩1矩陣更新
\(\det(I+cd^T) = 1 + d^Tc\)
\(\det(A+cd^T) = \det(A)(1 + d^TA^{-1}c)\)
克萊姆法則
\(x_i = \frac {\det(A_i)} {\det(A)}\)，其中 \(A_i\) 表示 A 的第 i 列替換為 b
代數余子式
\(\AA_{ij}=(-1)^{i+j}M_{ij}\)
求逆
adjugate 伴隨矩陣 adj(A) = \(\AA^T\) 代數余子式構成的矩陣的轉置
adjoint 伴隨矩陣 \(A^*\)
\(A^{-1} = \frac {\AA^T} {\det(A)}\)
10 特征值
定義
\(Ax = \lambda x\)，其中 \(\lambda\) 和 x 被稱為特征值和特征向量
\(\sigma(A)\) 特征值集合， A的頻譜spectrum
\(\lambda \in \sigma(A) <==> A-\lambda I 是奇異矩陣 <==> \det(A-\lambda I)=0\)
特征方程
A的行列式 為 特征值之積
A的跡 為 特征值之和
譜半徑
A 的最大特征值的絕對值
相似變換對角化
相似性
\(P^{-1}AP = B\) 則A 與 B 相似，左邊為A的相似變換
可對角化
A 相似於對角陣 <=> A 有 n 個特征向量 <=> \(P^{-1}AP=diag(\lambda…)\),P每一列為特征向量
代數重數
特征方程的指數
幾何重數
\(geo\ mult_A(\lambda)=dim N(A-\lambda I) \leq alg \ mult_A(\lambda)\)
對於每個特征值，代數重數等於幾何重數，等價於 A 可對角化
頻譜分解
)
正規矩陣
\(A^*A = AA^*\) <==> A 可酉對角化，被稱為正規矩陣
性質
-
A 是 RPN矩陣
-
R(A − λiI)⊥N(A − λiI).
對稱矩陣和Hermitian矩陣
A 是 實對稱矩陣 <==> A 正交相似於 實對角矩陣 \(P^TAP = D\)
正定矩陣
等價定義
-
\(x^TAx>0\)
-
對稱矩陣A的特征值是正數
-
\(A=B^TB\) 能分解為非奇異矩陣
-
LU分解后，主元為正
-
順序主子式為正
-
主子式為正
二次型
\(f(x) = x^TAx\)