線性代數

線性方程組

我們將要學的：A system of linear equations (多元一次聯立方程式)

由於本課程中m,n都很大，因此要采用與高中解方程組不同的視角，如：

• 是否有解
• 是否有唯一解
• 怎樣找到解
• 行列式（Determinants）

 

線性方程組與線性系統

線性方程組（system of linear equations ）的作用為描述一個線性系統（linear system）

線性系統（linear system）的兩個特性：

Persevering Multiplication

Persevering Addition

eg.

：非線性系統

：線性系統

 

Linear system v.s System of Linear Equations

由於線性方程組滿足線性系統的兩個特性，故線性方程租可以看成一個線性系統

對於一個如下的線性系統

可通過Multiplication和Addition轉換為線性方程租

即線性系統與線性方程租等價

 

線性系統的應用

大多數電路系統為線性系統

 

機器學習

一般用於分析的系統都是線性的，當然行情變化是非線性的，所以deep model（非線性）效果更好，但也更難訓練

 

設計濾波器

通過特征值（Ei）與特征向量可以設計特定輸出的線性系統

 

圖像壓縮

 

向量（Vectors）

向量的第i個元素為v _i，v ₁=1, v ₂=2, v ₃=3

零向量

標准向量

向量集

包含n個元素的向量集為 R ⁿ

 

矩陣（Matrix）

標記規則：先 Row 再 Column

零矩陣

單位矩陣（Identity matrix）

矩陣轉置

AT中第(i,j)個元素為A中第(j,i)個元素

 

矩陣與向量

矩陣A _m*n與向量x相乘結果為m維向量。可通過行角度和列角度理解：

eg.

A and B 都是mxn矩陣. 如果對於R ⁿ中所有w，都有Aw = Bw. 那么A=B?

因為

則

 

線性組合（Linear Combination）

“Ax = b 是否有解” 可以轉化為 “b是否是A中各列的線性組合”

線性空間（Span）
給定一組向量集合 ，Span A定義為其中各向量的所有線性組合，即

“Ax = b 是否有解”可以轉化為 “b是否 ∈ Span A”

【總結】

對於

 

線性相關（Linear Dependent）

定義：給定一組向量集{a1, a2,..., an} ，若其中存在任一向量ai可由其他向量線性組合，則稱該向量集線性相關

等價為如下

向量集{a1, a2,..., an} 線性相關：Ax = 0存在非零解

向量集{a1, a2,..., an}  線性獨立：Ax = 0只有零解

 

對於 線性相關的向量集{a1, a2,..., an} / Ax = 0存在非零解 → 方程Ax=b只要有解，必有無窮多解

線性相關法證明：

齊次方程（Homogeneous Equations）Ax=0證明：

 
 

秩（Rank）

定義：矩陣中線性獨立列的最大值

Nullity = Number of columns - rank

對於Am*n

 

【總結】

 

解線性方程方法

抽象為線性系統即為

其中A'=[A b]稱為增廣陣（augmented matrix）

R=[R' b']為簡化行階梯矩陣（reduced row echelon form，RREF）

• 矩陣是行階梯型
• 含先導元素（leading entries）的列（pivot column）是標准向量

  

A'→R的變換稱為基礎行變換（elementary row operations）

• 矩陣行交換
• 矩陣行倍乘
• 行倍乘后加至另一行

 

初始矩陣 v.s. RREF

列：關系不變、span 變化（即Col A≠Col R）

行：關系變化、span 不變（即Row A=Row R）

 

秩（Rank）

最大獨立列的個數 = 主元列（Pivot Col）個數 = 非零行個數

由上可得，Rank A ≤ Min（列數，行數）

 

RREF與解的關系

對於瘦長型矩陣

若 Rank R = col A

    無解：Rank R < Rank R'

    唯一解：Rank R = Rank R'

若 Rank R ＜ col A

    無窮多解

 

對於扁平型矩陣

    無解：Rank R < Rank R'

    無窮多解：m = n 且 Rank R = Rank R'

    唯一解：m < n 且 Rank R = Rank R'

 

矩陣相乘的兩個觀點

內積

列的線性組合

AB = A[b ₁ b ₂ ... b _p] = [Ab ₁ Ab ₂ ... Ab _p]

 

基礎行變換與矩陣乘積

1. 互換

 

2. 縮放

3. 倍乘第i行、加至第j行

 

eg. A為m*n矩陣，其RREF為R，即

 

 

可逆

A為n*n矩陣，當且僅當以下條件成立時，A是可逆的： 

• A的列張成(span)Rⁿ
• 對所有b∈Rⁿ, Ax=b都有解
• A的秩為n
• A的列相互獨立
• Ax=0 只有零解
• A的nullity為0
• A的RREF為I_n

　　

• A是基礎矩陣的乘積

　　

• 存在B_n*n使得BA = I_n
• 存在C_n*n使得AC = I_n

 

求解逆矩陣

對於A _n*n，將[A I _n]進行基礎行變換，轉化為[I _n B]，則A ^-1 =B

 

行列式（Determinants）

行列式的性質

• det(I) = 1
• 交換行改變det正負
• 行列式對每行都是線性
• a：
• b：
• c（由a，b得到）：

• det(AB) = det(A)det(B)
• a：det(A^-1) = 1/det(A)
• b：det(A²) = det(A)²

• det(A^T) = det(A)

 

行列式計算

選擇某行

或者某列

其中cij為代數余子式（cofactor）

 

克拉默法則（Cramer's Rule）

 

C為A的代數余子陣，C ^T為A的伴隨矩陣（adj A）

證明：

AC ^T = det(A)I _n

【注】A中row i與row j的代數余子式乘積為0，相當於A中row i與row j相同

 

子空間（Subspace）

一組滿足以下條件的向量集V：

0向量 ∈ V

如果 u，w ∈ V，則 u+w ∈ V

如果 u ∈ V，則c u ∈ V

 

零空間（Null Space）

定義：Null A={  v∈R ⁿ：A v= 0 }

列空間（Column Space）

Col A={ A v： v∈R ⁿ}

Row A=Col A ^T

 

11

基（Basis）

定義：基為子空間V的一個 線性獨立生成集

舉例：矩陣列空間Col A的基為其先導列

【釋】先導列相互獨立；且其可生成Col A

 

 

基的性質

基是最小的生成集（generation set）

    如果S為子空間V的生成集

    Subspace V = Span S = Col S，即Col S的基與Subspace V相同，然而S的基為S的先導列（S的Subset），可參見上例

    則V的基一定≤S的向量個數，即S可通過刪去某些向量轉化為V的基

基是子空間中最大的獨立向量個數

子空間中的任何兩個基包含相同個數的向量（即為子空間V的維度dim V）

此處證明較為抽象故省略，建立這種直覺即可 

 

證明向量集S為子空間V的基

定義：基S為子空間V的一個 線性獨立生成集

線性獨立：做RREF即可判斷

生成集：已知dim V = k（通過RREF判斷），而S是V的子集且含k個向量

eg.判斷B是否為V的基。

 

滿足以下兩個條件，故B是V的基

• B中各向量獨立
• dim V = 3，B∈V且含有3個向量

 

12

	維度	基
Col A	Rank A	A的先導列
Null A	Nullity A =n-Rank A	Ax = 0的解向量
Row A	Rank A	A的RREF中非零行

 

13

當滿足以下條件時，一組向量集B可作為R ⁿ的坐標系

• B中各向量獨立
• B中各向量張成Rⁿ

坐標系B={u1,u2,...,un}為Rn空間的基

 

坐標系轉換

其他系統↔笛卡爾坐標系

14

機器學習

 

15

 

16

秩的更多性質

已知A _m×n、B _n×k，則Rank(AB) ≤ min(Rank(A), Rank(B))

證明

即證明以下兩條同時成立

a. Rank(AB) ≤ Rank(A)

b. Rank(AB) ≤ Rank(B)

先證(a)

對可逆矩陣Q _m×m，QA = R（RREF），因可逆矩陣是基礎矩陣的乘積，初等行變換不會改變行空間，

即行空間的維度不會變化，即Rank不變，故有Rank(QA) = Rank(A)

Rank(AB) = Rank(QAB) = Rank(RB)

Rank(A) = Rank(PA) = Rank(R)

R中非零行即為Rank(R)，而RB的非零行≤R中非零行，即Rank(RB) ≤ Rank(R)，故有Rank(AB) ≤ Rank(A)

將(AB)^T帶入上式，可得Rank(AB) ≤ Rank(B)，綜上則有Rank(AB) ≤ min(Rank(A), Rank(B))

其他性質（證明省略）

• 若Rank(B) = n → Rank(AB) = Rank(A)
• 若Rank(A) = n → Rank(AB) = Rank(B)
• Rank(A+B) ≤ Rank(A) + Rank(B)

 

行列式的更多性質

交換行會改變行列式的正負

對每行來說，行列式是線性的 

det(AB) = det(A)det(B)
det(A) = det(A^T)

 

17

Av = λv（λ為特征值，v為特征向量【非零】）

可認為T(v) = Av，即對向量v的線性變換

即求解(A - λI _n)v = 0

即λ對應的特征向量為Null(A - λI _n)，又稱為λ的特征空間（eigenspace of λ）

 

判斷λ是否為A的特征值？

即判斷λ的特征空間尺寸，若為0 →  特征空間僅含{0} → 沒有特征向量 → λ不是特征值

 

18 特征多項式

值t為方陣A的特征值

  ↔ 存在v ≠ 0 使得(A-tIn)v = 0  
  ↔ (A-tIn)v = 0有多解 
  ↔  (A-tIn)的列線性相關
  ↔ Rank(A-tIn) < n
  ↔ (A-tIn)不可逆

  ↔ det(A-tI_n) = 0

特征多項式性質
相似矩陣有相同的特征多項式，即相同的特征值
證明如下

A_n×n的特征多項式次數為n
n個特征值（包含重根）之和 = A的跡
n個特征值（包含重根）之積 = A的行列式
（上下）三角陣的特征值為其對角元素

特征多項式與特征空間


19 對角化

若A可對角化，即A = PDP-1
則AP = PD，即[ Ap₁  ··· Ap_n ] = [ d₁p₁ ··· d_np_n ]
pi即為A的特征向量，對應特征值為di

20 線性變換的對角化
矩陣A可對角化條件
A的特征向量可組成Rⁿ維基，即各特征向量相互獨立

如下圖，[T]_B為B坐標系下的線性變換矩陣，找到合適的坐標系B可以得到較為簡單的變換矩陣[T]_B



21 正交化
范數Norm：

點乘：

           

22 正交投影
非零向量集S的正交補（Orthogonal Complement）記為S^⊥，S^⊥垂直於S中的每一個向量
S^⊥ = { ν ：v·u = 0 , all u ∈ S }
(Row A)^⊥ = Null A
【釋】
A = Span{a₁ , a₂}，當且僅當a₁·v = a₂·v = 0時，v ∈ A^⊥
即A^⊥為“ Av = 0 ”的解，即為Null A
【注】
對Rⁿ的任何子空間W，dimW + dimW^⊥ = n
                                     rank      nullity
eg.W = Span{w₁ , w₂}，w₁ = [1 1 -1 4]^T，w₂ = [1 -1 1 2]^T；W⊥ = Span{μ₁ , μ₂}，w1 = [1 1 -1 4]T，w2 = [1 -1 1 2]T