https://www.bilibili.com/video/av22727915/?p=1
線性代數這門課主要描述這樣的問題，
如何解多元一次方程組，即一個線性方程式的系統
解這個系統，就是要回答下面的問題，有沒有解，多少解，怎么求解
為什么要研究一次線性方程組，因為他等價於線性系統，而線性系統是非常通用和重要的系統
什么叫linear system，如下定義
一個線性方程組，或線性系統，可以寫成vector和matrix的乘積
那么這個線性方程組是否有解？
這個問題可以換種方式表達，線性組合（linear combination），span
線性組合的定義，很簡單
span的定義，就是一組vector所有線性組合的總和
是否有解這個問題，可以用線性組合和span來表示？
如果有解，有幾個解？要不唯一解，要不無數解
通過線性獨立，線性相關，Rank和nullity這些概念來判斷，
那么如何求解？
求解基於的假設是我們有些線性方程式系統是等價的
所以通過轉換，可以把要求解的方程式系統轉化成simple的system，如下過程，就可以完成求解
形式化的描述，我們先把方程式變成augmented matrix
然后轉化過程如下，
那么什么才能成為一個simple的系統了？
他如果是一個reduced row echelon form，那么就是一個可以容易求解的simple系統
左邊是Row Echelon Form的定義，首先，非0行要在全0行上面，再者，leading entires(每行第一個非0值)是echelon form，從左到右階梯排列
右邊是reduced Row Echelon Form，加上一個條件，所有包含leading entires的列都是standard vectors
對於一個矩陣，我們如何可以求出reduced Row Echelon Form
用Gaussian Elimination, 高斯消去法，
RREF vs Linear Combination
REFF變換是不會改變列向量相關性的，但會改變列向量的span
REFF變化會改變行向量的相關性，但是行向量的Span不會改變，Span意思是所有行向量的所有線性組合的集合
REFF vs dependent
前面REFF的定義，所有包含leading entires的列都是standard vectors，而包含leading entries的列稱為pivot columns
前面定理說，REFF的變換是不會改變列向量的相關性
R中的leading entires所在列是standard vectors，所以一定是線性獨立的，independent
所以可以證明，在A中對應的pivot columns也是independent
自然所有non-pivot columns都是pivot columns的線性組合
所以如果一個矩陣是independent，那么它的所有列，都需要是pivot columns
所以可以得到這個直覺的定理，m維空間，多於m個vector一定是線性相關的，dependent
RREF vs Rank
Rank，秩，的定義就是，independent columns的最大數，或pivot columns的數，或non-zero rows的數目
Rank一定是小於min(行數，列數)
Rank的特性
full rank，滿秩，rank數以達到能取到的最大值
如果一個矩陣是independent，那么rank等同於columns數目
定義出basic變量和free變量，和Rank的關系
basic變量就是可以確定的變量，即rank數
free變量無法確定的變量，即nullity
他們的和等同於columns的數量
REFF vs Span
我們討論是否有解和Span的關系，方程式有解，意味着b在A的span里，即b可以通過A的列向量的線性組合得到
那如何更有效的判斷是否有解，
如果b是可以被A的線性組合表示的，那么rank A = rank A，b
反之就無解，inconsistent
那如果要對任意b都有解，要滿足什么條件？
A的REFF不能有zero row，因為對於任意b
所以rank等於行數，因為rank等於non-zero行數，而這里沒有zero row
對於b都有解，意味着A的span代表整個n維空間
如下圖，如果Rank A = m
那么對於m維空間中的任意b，至少有一個解
如果rank A = n，也就是說，所有columns都是independent，最多一個解
矩陣乘法
怎么理解，可看成兩個矩陣的串聯，這里可以用standard向量去嘗試一下
矩陣乘法的一些特性
Matrix Inverse
matrix inverse的簡單的定義，
那么matrix inverse有什么用，理論上看，可以用於求解，實際上沒用，因為求矩陣逆要先求RREF
給出矩陣逆的正式定義，
要理解紅色和藍色部分，首先要理解，function的one-on-one，onto
解釋一下，3元一次方程組，3*3的矩陣，3個x，輸出3個y
那么定義域就是整個三維空間
對應域也是整個三維空間，值域可能小於對應域，因為有些值可能取不到
one-on-one，最多一個解，可能沒有解，如果b落到值域外，這種情況所有columns肯定都是independent的
onto，一定有解，即值域等於定義域，rank等於行數
如果matrix可以inverse，需要既是one-on-one，也是onto
再來理解，這一句，
“A is a product of elementary matrices”
什么是elementary matrices？
如左一圖，前面知道，對矩陣做下面3中row操作，不會改變矩陣的解集合
而每一種row operation，都可以用一個elementary matrix表示
那么怎么找到row operation所對應的elementary matrix？
答案如中間的圖，對identity矩陣做相應的row operation，得到的矩陣就是elementary matrix
elementary matrix的好處在於，對它求inverse是非常簡單的，如右圖
對應任意一個A，可以通過一系列的row operation變成RREF
左邊的圖，當一個矩陣可逆，它的RREF會是identity矩陣
所以可以推導出，如果矩陣可逆，它的逆就這一堆elementary matrices的乘積
好理解完了，實際中，我們是怎么來求矩陣逆的？
如下圖，看那個例子應該很清楚，把A和I放一起，row operation，如果A變成I了，那么后面的B就是A inverse
Determinant，行列式
簡單的看下，什么是determinant？
determinant有什么幾何意義嗎？
Determinant有什么基本特性？
1. 任何Identity矩陣的det=1
2. 交換任意兩行，會改變det的符號；所以如果有兩行相等，det=0
3. Det對於每一行都是線性的；這個很有意思，可以推導出下面幾個有用的推論
Determinant的其他特性？
Determinant和可逆之間的關系？
A可以通過RREF轉化成R，A和R的Det之間關系如下，因為RREF的操作，只會改變符合和乘以倍數
所以可以推導出，可逆意味着det不為0
Determinant的正式定義
這個看着比較難理解，通過任意一行或列，乘上cofactor都可以算出det
而cofactor需要計算相應A的det，而算A的det又需要繼續分解，直到分解的A是2維或3維行列式可以直接計算
看個計算過程的例子，
Subspace
先看下什么是subspace，子空間
從定義上看，對於一個vector集合中任意向量的線性組合得到的向量仍然在這個集合中，這個集合就稱為subspace
簡而言之，對線性組合閉合的，線性組合的閉包？
根據span的定義，vector集合的span一定是subspace
一些特殊的subspace，
Null space是A的解向量的集合，Column和Row Space很容易理解
所以這里對於是否有解，又有一種新的說法，b在A的Column space里面
Subspace的basis
basis有兩點定義，independent和能夠通過basis生成整個R
basis有幾個特性，
最小的generation set，再小不可能生成整個空間R
最大的independent vector集合，
一個subspace可能有多個basis，但是他們的number是一樣的，number稱為空間的dimension
所以幾維空間，使用basis的number決定的
ColA，NullA，RowA
下面的圖更形象的表示各個subspace的含義
下面看看各自的basis和dimension，
從而可以得到dimension理論，
Summary
